资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

Python3如何安装Scrapy

这篇文章将为大家详细讲解有关Python3如何安装Scrapy,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

目前创新互联建站已为数千家的企业提供了网站建设、域名、雅安服务器托管、网站托管、服务器托管、企业网站设计、襄城网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。

运行平台:Windows
Python版本:Python3.x
IDE:Sublime text3

转载请注明作者和出处:http://blog.csdn.net/c406495762/article/details/60156205

一、Scrapy简介

    Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架,可以应用于数据挖掘,信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。现在,Scrapy已经推出了曾承诺过的Python3.x版本。

    为什么学习Scrapy呢?它能我们更好的完成爬虫任务,自己写Python爬虫程序好比孤军奋战,而使用了Scrapy就好比手底下有了千军万马。Scrapy可以起到事半功倍(甚至好几倍*.*)的效果。所以,学习Scrapy也就显得很有必要了。

二、Scrapy安装

    1.直接使用指令pip3 install scrapy,发现有诸多错误。

  • Failed building wheel for lxml

  • Microsoft Visual C++ 10.0 is required

  • Failed building twisted

  • Unable to find vcvarsall.bat

    遇到的错误,如下图所示:

Python3如何安装Scrapy

Python3如何安装Scrapy

Python3如何安装Scrapy

2.解决办法

    在http://www.lfd.uci.edu/~gohlke/pythonlibs/有很多用于windows的编译好的Python第三方库,我们下载好对应自己Python版本的库即可。

    (1)在cmd中输入指令python,查看python的版本,如下:

Python3如何安装Scrapy

    从上图可以看出可以看出我的Python版本为Python3.5.2-64bit。

    (2)登陆http://www.lfd.uci.edu/~gohlke/pythonlibs/,Ctrl+F搜索Lxml、Twisted、Scrapy,下载对应的版本,例如:lxml-3.7.3-cp35-cp35m-win_adm64.whl,表示lxml的版本为3.7.3,对应的python版本为3.5-64bit。我下载的版本如下图所示:

Python3如何安装Scrapy

Python3如何安装Scrapy

Python3如何安装Scrapy

    (3)在cmd中输入DOS指令,进入下载好的whl文件夹下,例如我的三个whl文件放在了Scrapy文件夹下:

Python3如何安装Scrapy

    (4)依次执行如下命令:

a.pip3 install wheel

Python3如何安装Scrapy

b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl

Python3如何安装Scrapy

c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

Python3如何安装Scrapy

d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl

Python3如何安装Scrapy

    这样Scrapy的安装就完成了,请忽略最后两行让我升级pip的信息。*.*

    (5)Srapy已经安装成功,还要下载pywin32,找到对应版本下载,一路下一步安装即可。安装完成后,就可以正常使用Scrapy了。

    URL:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

Python3如何安装Scrapy

    至此,大功告成,我们可以愉快的使用Scrapy了。

关于“Python3如何安装Scrapy”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。


本文名称:Python3如何安装Scrapy
链接分享:http://cdkjz.cn/article/igpedh.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

业务热线:400-028-6601 / 大客户专线   成都:13518219792   座机:028-86922220