从品牌网站建设到网络营销策划,从策略到执行的一站式服务
最近准备做一个关于scrapy框架的实战,爬取腾讯社招信息并存储,这篇博客记录一下创建项目的步骤
10年积累的成都网站建设、网站建设经验,可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你,你也不认识我。但先网站策划后付款的网站建设流程,更有南县免费网站建设让你可以放心的选择与我们合作。pycharm是无法创建一个scrapy项目的
因此,我们需要用命令行的方法新建一个scrapy项目
请确保已经安装了scrapy,twisted,pypiwin32
一:进入你所需要的路径,这个路径存储你创建的项目
我的将放在E盘的Scrapy目录下
二:创建项目:scrapy startproject ***(这个是项目名)
这样就创建好了一个名为tencent的项目
三:进入项目新建一个爬虫:scrapy genspider tencent_spider hr.tencent.com
这里我们要注意,上面的命令,加黑的是爬虫名称,斜体是域名
这样,我们就新建了一个爬虫项目,打开文件夹查看
打开spiders
然后我们用pycharm打开
点击File —>open,找到项目所在文件夹,打开即可
这样,我们就新建了一个scrapy项目,如果安装了所需要的库,scrapy飘红,记得去切换解释器
在File—>settings的标红的地方
另外推荐大家,在根目录下新建一个start.py的文件并写入
from scrapy import cmdline cmdline.execute("scrapy crawl tencent_spider".split())
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图