这篇文章主要介绍了python爬虫之urllib,伪装,超时设置,异常处理的示例分析，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。
专业从事网站建设、
网站设计,高端网站制作设计,成都小程序开发,网站推广的成都做网站的公司。优秀技术团队竭力真诚服务，采用
H5开发+CSS3前端渲染技术，
成都响应式网站建设公司，让网站在手机、平板、PC、微信下都能呈现。建站过程建立专项小组，与您实时在线互动，随时提供解决方案，畅聊想法和感受。
Urllib
1. Urllib.request.urlopen().read().decode()
返回一个二进制的对象，对这个对象进行read()操作，可以得到一个包含网页的二进制字符串，然后用decode()解码成html源码
2. urlretrieve()
将一个网页爬取到本地
3. urlclearup()
清除 urlretrieve()所产生的缓存
4. info()
返回一个httpMessage对象，表示远程服务器的头信息
5. getcode()
获取当前网页的状态码 200代表成功，404网页未找到
6. geturl()
获取当前爬取页面的网址
示例：
from urllib import request
# urlretrieve() -- 将一个网页爬取到本地
request.urlretrieve("http://www.baidu.com",filename="demo.html")
# urlclearup() -- 清除urlretrieve()所产生的缓存
request.urlcleanup()
# info() -- 返回一个httpMessage对象,表示远程服务器的头信息
data = request.urlopen("http://www.taobao.com")
print(data.info())
# getcode() -- 获取当前网页的状态码data.geturl()
print(data.getcode())
# 获取当前爬取页面的网址
print(data.geturl())运行结果：
Server: Tengine
Date: Wed, 09 May 2018 09:55:16 GMT
Content-Type: text/html; charset=utf-8
Transfer-Encoding: chunked
Connection: close
Vary: Accept-Encoding
X-Snapshot-Age: 1
Content-MD5: tkjcPUrHBAIt2N/YXcuwZg==
Vary: Ali-Detector-Type, X-CIP-PT
Cache-Control: max-age=0, s-maxage=89
ETag: W/"29b8-16340528168"
Via: cache22.l2cm9[0,304-0,H], cache17.l2cm9[0,0], cache1.cn372[0,200-0,H], cache2.cn372[1,0]
Age: 70
X-Cache: HIT TCP_MEM_HIT dirn:-2:-2 mlen:-1
X-Swift-SaveTime: Wed, 09 May 2018 09:54:59 GMT
X-Swift-CacheTime: 36
Timing-Allow-Origin: *
EagleId: 3c1cf2e515258597167937091e
Set-Cookie: thw=cn; Path=/; Domain=.taobao.com; Expires=Thu, 09-May-19 09:55:16 GMT;
Strict-Transport-Security: max-age=31536000
200
https://www.taobao.com/
超时设置(timeout)
由于在实际的爬取过程中，部分网站可能访问过慢，影响性能，这时我们可设置超时访问.
示例： 如果在指定时间内正常访问，即输出获取数据的长度，如果超出指定时间，则抛出异常.
for i in range(0,10):
try:
data = urllib.request.urlopen("http://www.baidu.com",timeout=0.05).read()
print(len(data))
except Exception as e:
print("出现异常:"+str(e))运行结果：
114980
114888
114809
114839
114824
114611
出现异常:
出现异常:
出现异常:
115003
伪装
在爬取过程中，可能部分网站限制浏览器访问所以为了顺利达到我们的目的，我们对自己进行伪装.
这里我们介绍一下浏览器的伪装技术.
普通爬取：
from urllib import request
file = request.urlopen("http://www.baidu.com").read().decode()通过浏览器伪装爬取数据：
方式一：
from urllib import request
url = "http://www.baidu.com"
headers = ("User-Agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36") #这里模拟浏览器
opener = request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()
print(data)方式二：
from urllib import request
url = "http://www.baidu.com"
headers = ("User-Agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36") #这里模拟浏览器
opener = request.build_opener()
opener.addheaders = [headers]
request.install_opener(opener)
data = request.urlopen(url).read().decode("utf-8")
print(data)方式三：
from urllib import request
url = "http://www.baidu.com"
headers = {}"User-Agent":" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"} #这里模拟浏览器,通过字典
req = request.Request(url=rul,headers=headers)
data = request.urlopen(req).read().decode("utf-8")
print(data)异常处理
爬虫在运行过程中,可能会出现各种各样的问题，如果没有异常处理的话,爬出异常会直接崩溃停止运行，下次再运行的时候,爬虫又要重头开始，所以我们要开发的是一个具有顽强生命力的爬虫，必须要进行异常的处理.
常见异常示例：
301 重定向
403 禁止访问
404 没有找到页面
500 服务器内部出现问题
200 成功
python中有两个异常处理的类：URLError与HttpError
HttpError 是 URLError子类
HttpError 有异常状态码和异常原因
URLError 只有异常原因,没有异常状态码
所以,在异常处理的时候,不能使用URLError来代替
如果想要代替,必须要进行判断,判断是否有状态码属性
会产生URLError的情况:
1.连接不上服务器
2.远程的url不存在
3.本地网络
4.HttpError(是子类,也会出发会产生URLError
格式如下：
from urllib import error,request
try: # 可能会出现异常的代码
data = request.urlopen("http://www.aliyu.com").read()
print(data)
except error.URLError as e: # 进行异常的处理
if hasattr(e,"code"): # 判断是否有状态码
print(e.code) # 状态码
if hasattr(e,"reason"): # 判断是否有异常原因
print(e.reason) # 异常原因感谢你能够认真阅读完这篇文章，希望小编分享的“python爬虫之urllib,伪装,超时设置,异常处理的示例分析”这篇文章对大家有帮助，同时也希望大家多多支持创新互联成都网站设计公司，关注创新互联成都网站设计公司行业资讯频道，更多相关知识等着你来学习!
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、网站设计器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
本文名称：python爬虫之urllib,伪装,超时设置,异常处理的示例分析-创新互联
本文网址：
http://cdkjz.cn/article/djjijh.html
