从品牌网站建设到网络营销策划,从策略到执行的一站式服务
了解python爬虫之request怎么定义headers?这个问题可能是我们日常学习或工作经常见到的。希望通过这个问题能让你收获颇深。下面是小编给大家带来的参考内容,让我们一起来看看吧!
目前成都创新互联已为千余家的企业提供了网站建设、域名、网络空间、成都网站托管、企业网站设计、镇远网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。对于写爬虫来讲,模拟浏览器是发请求的时候做的最多的事情了,最常见的模拟浏览器无非就是伪装headers:
In [23]: url = 'http://xlzd.me' In [24]: headers = {'User-Agent': 'my custom user agent', 'Cookie': 'haha'} In [25]: requests.get(url, headers=headers)
拓展:
怎样取出HTTP response里面的内容呢?
In [7]: r = requests.get('http://xlzd.me') In [8]: r.encoding Out[8]: 'UTF-8' In [9]: r.headers Out[9]: {'Content-Encoding': 'gzip', 'Transfer-Encoding': 'chunked', 'Vary': 'Accept-Encoding', 'Server': 'nginx', 'Connection': 'keep-alive', 'Date': 'Fri, 11 Dec 2015 06:42:31 GMT', 'Content-Type': 'text/html; charset=UTF-8', 'X-Pingback': 'http://xlzd.me/action/xmlrpc'} In [10]: r.cookies Out[10]:In [11]: r.text Out[11]: u'\n\n\t requests会自动对响应内容编码,所以就可以通过r.text取出响应文本了。对于别等响应内容(文件、图片、...),则可以通过r.content取出来。对于json内容,也可以通过r.json()来取。
感谢各位的阅读!看完上述内容,你们对python爬虫之request怎么定义headers大概了解了吗?希望文章内容对大家有所帮助。如果想了解更多相关文章内容,欢迎关注创新互联行业资讯频道。
分享文章:python爬虫之request怎么定义headers-创新互联
当前地址:http://cdkjz.cn/article/csoheo.html
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图