caoporn 在线视频,

将乐信息网 http://www.jianglexinxi.cn 2020-06-02 08:57 出处:网络
caoporn 在线视频,,scrapy爬虫学习系列三:scrapy部署到scrapyhub上 系列文章列表:

caoporn 在线视频,,scrapy爬虫学习系列三:scrapy部署到scrapyhub上

系列文章列表:

scrapy爬虫学习系列一:scrapy爬虫环境的准备:  http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_007_scrapy01.html

scrapy爬虫学习系列二:scrapy简单爬虫样例学习: http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_007_scrapy02.html

scrapy爬虫学习系列三:scrapy部署到scrapyhub上:  http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_004_scrapyhub.html

scrapy爬虫学习系列四:portia的学习入门:   http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_010_scrapy04.html

scrapy爬虫学习系列五:图片的抓取和下载: http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_011_scrapy05.html

scrapy爬虫学习系列六:官方文档的学习:                     https://github.com/zhaojiedi1992/My_Study_Scrapy

 注意: 我自己新建的一个QQ群(新建的),欢迎大家加入一起学习一起进步 ,群号646187336 

 

官方的一个说明步骤:https://helpdesk.scrapinghub.com/support/solutions/articles/22000201935-deploying-a-project-from-a-github-repository

这里有个scrapyhub的帮助论坛吧:https://helpdesk.scrapinghub.com/support/solutions

1 scrapyhub简介

scrapyhub就是提供一个云平台,让你的爬虫程序可以开发和运行在云平台上。

我这里提供一个样例的使用过程。

2 github相关方面的准备工作 2.1注册一个github账号

注册页面:https://github.com/join?source=header-home

注册过程主要有3步骤,我这里提供3个截图。

caoporn 在线视频,

caoporn 在线视频,

caoporn 在线视频,

2.2 创建一个github项目

2.2.1 我们从github找到scrapy官方的demo程序,地址https://github.com/scrapy/quotesbot,我们打开这个地址,点击页面上面的右上角的fork按钮,创建一个复制。

2.2.2 如果提示需要邮件确认的话,请登录你的邮箱点击链接即可。

2.2.3 重复2.2.1步骤,就可以fork一个官方的scrapy deom了。(具体详细的代码,可以自己去瞧瞧)

3 使用github账号登录scrapyhub网址 3.1 登录scrapyhub网址

打开scrapyhub的官方网址 https://scrapinghub.com/scrapy-cloud/, 点击右上角的login按钮,选择github登录方式,接下来就是下一步下一步啦。最后就是如下图的界面了。

caoporn 在线视频,

3.2 创建项目

caoporn 在线视频,

3.3设置下工程参数

caoporn 在线视频,

3.4设置工程参数

caoporn 在线视频,

3.5设置工程参数

caoporn 在线视频,

3.6 设置工程参数

caoporn 在线视频,

3.7 设置工程参数

caoporn 在线视频,

3.8设置工程参数

caoporn 在线视频,

3.9 设置工程参数

caoporn 在线视频,

3.10 设置工程参数

caoporn 在线视频,

3.11添加调度计划

caoporn 在线视频,

3.12 设置调度计划

caoporn 在线视频,

3.13 查看job执行情况

注意: 我们使用的分钟级任务,大概需要等1分钟才有结果。当然你点击右上角的run去手工运行下。

caoporn 在线视频,

3.14 数据查看和导出

caoporn 在线视频,

4. 数据导出的api接口

官方的api地址: https://doc.scrapinghub.com/scrapy-cloud.html#scrapycloud

我们这里导出一个job的某次执行结果吧。

导出的url格式items/:project_id[/:spider_id][/:job_id][/:item_no][/:field_name]

如果我们想导出3.14图(页面的url是https://app.scrapinghub.com/p/216687/1/1/items)中的结果,以json格式的形成导出:

可以看出spider_id 就是216687,job_id 就是1 ,item_no 就是1 ,key 我们可以从这个网址查看https://app.scrapinghub.com/account/apikey

所有我们可以访问https://storage.scrapinghub.com/items/216687/1/1?apikey=3299bbee8aa44e0690c62d2a7ec1db50 format=json

 

本文标题:caoporn 在线视频,
http://www.jianglexinxi.cn/yanergaozhi/391709.html

0

精彩评论

暂无评论...
验证码 换一张
取 消