从品牌网站建设到网络营销策划,从策略到执行的一站式服务
这篇文章将为大家详细讲解有关scrapy-redis在python分布式爬虫中怎么用,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
在setting.py中修改和添加的内容
# 把scrapy中默认的去重组件替换为scrapy-redis中的去重组件 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" # 把scrapy中默认的调度器替换成scrapy-redis中的调度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 任务持久化 SCHEDULER_PERSIST = True # 添加scrapy-redis管道 ITEM_PIPELINES = { # 'guoke.pipelines.GuokePipeline': 300, 'scrapy_redis.pipelines.RedisPipeline': 400, } # 添加redis数据库的连接URL # REDIS_URL = 'redis://127.0.0.1:6379' REDIS_HOST = 'localhost' REDIS_PORT = 6379 REDIS_PARAMS = {} REDIS_PARAMS['password'] = '12345'
wenda.py添加的内容
from scrapy_redis.spiders import RedisSpider # class WendaSpider(scrapy.Spider): # 继承RedisSpoder类 class WendaSpider(RedisSpider): name = 'wenda' allowed_domains = ['guokr.com'] #添加redis库,当redis中没有这个键的时候,程序会处于监听等待状态 redis_key = 'python'
关于scrapy-redis在python分布式爬虫中怎么用就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图