资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

Python中怎么实现一个爬虫功能

今天就跟大家聊聊有关Python中怎么实现一个爬虫功能,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

创新互联是专业的北海街道网站建设公司,北海街道接单;提供网站设计制作、成都网站设计,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行北海街道网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

运行结果

Python 2.6.6 (r266:84292, Jun 20 2019, 14:14:55) [GCC 4.4.7 20120313 (Red Hat 4.4.7-23)] on linux2Type "help", "copyright", "credits" or "license" for more information.>>> import requestsTraceback (most recent call last):  File "", line 1, in   File "/usr/lib/python2.6/site-packages/requests/__init__.py", line 43, in     import urllib3  File "/usr/lib/python2.6/site-packages/urllib3/__init__.py", line 7, in     from .connectionpool import HTTPConnectionPool, HTTPSConnectionPool, connection_from_url  File "/usr/lib/python2.6/site-packages/urllib3/connectionpool.py", line 100    _blocking_errnos = {errno.EAGAIN, errno.EWOULDBLOCK}                                    ^SyntaxError: invalid syntax

由于Linux服务器上的Python版本为2.6.6,import requests就已经报错了,这个库是没法用了。这个错误我试了几种办法,都宣告失败。之前文章是在windows环境Python2.7下完成的。

你可能会说升级Python版本吧?我有过升级glibc把服务器搞死的惨痛教训,不敢再乱升级了,而且我试验的机器是24小时运行着其它系统的生产服务器,一旦升级出问题,会酿成生产事故的。所以我只能在2.6的Python下开发爬虫。使用urllib2库代替requests库,实现过程基本是一样的简单明了。代码如下

#coding=utf-8import urllib2exact_url='https://news.qq.com/zt2020/page/feiyan.htm'try:    r=urllib2.urlopen(exact_url) #抓取设定url的数据,可以改成你想获取的任意地址except urllib2.URLError,e:    print e.code    exit()    r.encoding='utf8'html=r.read() print html  #打印抓取的结果

所以如果你的服务器Python版本是2.6或者更低,尝试使用urllib2库吧!

低版本的Python还会出现无法安装MongoDB的驱动包pymongo的情况,如下

Python中怎么实现一个爬虫功能

这种情况可以选择MySQL的Python驱动包代替,pip安装MySQL的Python驱动包也不一定成功,我最后用yum安装成功的。

Python中怎么实现一个爬虫功能

更奇葩的是2.6下,django也无法安装成功,

Python中怎么实现一个爬虫功能

看完上述内容,你们对Python中怎么实现一个爬虫功能有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注创新互联行业资讯频道,感谢大家的支持。


网站栏目:Python中怎么实现一个爬虫功能
网页路径:http://cdkjz.cn/article/jjgchc.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220