这篇文章给大家分享的是有关python爬虫中怎样编写pyspider的内容。小编觉得挺实用的，因此分享给大家做个参考。一起跟随小编过来看看吧。
创新互联是一家专注网站建设、网络营销策划、
小程序开发、电子商务建设、网络推广、移动互联开发、研究、服务为一体的技术型公司。公司成立十载以来，已经为1000多家
橡塑保温各业的企业公司提供互联网服务。现在，服务的1000多家客户与我们一路同行，见证我们的成长；未来，我们一起分享成功的喜悦。
代码：
from pyspider.libs.base_handler import *class Handler(BaseHandler):
crawl_config = {
}
@every(minutes=24 * 60) def on_start(self):
self.crawl('__START_URL__', callback=self.index_page)
@config(age=10 * 24 * 60 * 60) def index_page(self, response): for each in response.doc('a[href^="http"]').items():
self.crawl(each.attr.href, callback=self.detail_page)
@config(priority=2) def detail_page(self, response): return { "url": response.url, "title": response.doc('title').text(),
}crawl_config：爬虫的全局参数设置，例如请求头和cookies可以在这里设置（传入关键字及对应的参数即可）
on_start(self)：爬虫开始爬取的入口
crawl：和requests有相同的功能 ，可以支持 get(默认) 和 post，常用的参数有
data 是想要提交数据
callback 可以在执行完 crawl后调用回调函数
method 是指定 访问方法
files 上传文件，{'key': ('file.name': 'content')}
headers 请求头，类型dict
cookies 请求的 Cookies 类型 dict
timeout 请求内容里较大等待秒数．默认值：120
connect_timeout ： 指定请求时链接超时时间,单位秒，默认值：20
proxy ： 可以设置代理服务器，暂时只支持http代理
感谢各位的阅读！关于python爬虫中怎样编写pyspider就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到吧！
当前标题：python爬虫中怎样编写pyspider-创新互联
路径分享：
http://cdkjz.cn/article/eeood.html
