从品牌网站建设到网络营销策划,从策略到执行的一站式服务
python中urllib库如何使用,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
成都创新互联公司坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站建设、做网站、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的阳江网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!
urllib.request 用于发起网络请求
urllib.parse 用于操作url
urllib.errer 用于处理网络请求错误
urllib.robotparser 用于解析网站robots.txt文件
import urllib.request import user_agent # 用于生成User-Agent import re import lxml.etree as le # 用xpath 匹配数据 import tool import pandas as pd keywords = input('keywords>') page = input('page>') data_best = [] header = {'User-Agent':user_agent.get_user_agent_pc()} request = urllib.request.Request( #构造请求头 url='https://search.51job.com/list/170200,000000,0000,00,9,99,{keywords},2,{page}.html?lang=c&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='.format(keywords=keywords,page=page), headers=header ) response = urllib.request.urlopen(request) pattern = 'window.__SEARCH_RESULT__ =(.*?)总结:
打开链接可以用urllib.request.urlopen()直接打开,也可以用urllib.request.Request()构造更隐蔽的请求,urllib.request.Request() 传入url、data、headers参数,data是bytes类型
urllib.parse.urlencode()方法可以构造url
关于python中urllib库如何使用问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注创新互联行业资讯频道了解更多相关知识。
网页标题:python中urllib库如何使用
网站URL:http://cdkjz.cn/article/peheoc.html
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图