- Request
请求方式 常用的有get post
请求的url
第一部分是协议(或称为服务方式)
第二部分是存有该资源的主机IP地址(有时也包括端口号)
第三部分是主机资源的具体地址,如目录和文件名等
请求头 包含请求时的头部信息,如User-Agent,Host,Cookies等信息
请求体 请求时携带的数据,如提交表单数据时候的表单数据 - Response
所有HTTP响应的第一行都是状态行,依次是当前HTTP版本号,3位数字组成的状态代码,以及描述状态的短语,彼此由空格分隔
相应状态 有多种响应状态,如:200代表成功,301跳转,404找不到页面,502服务器错误
响应头 如内容类型,类型的长度,服务器信息,设置Cookie
响应体 最主要的部分,包含请求资源的内容,如网页HTMl,图片,二进制数据等
3.URL解析
urlparse
from urllib.parse import urlparse
result = urlparse("http://www.baidu.com/index.html;user?id=5#comment")
urlencode 这个方法可以将字典转换为url参数
urlencode(params) params 是字典格式
4.Requests是用python语言基于urllib编写的
response.text会出现乱码的问题,所以这个使用response.content
这样返回的数据格式其实是二进制格式,然后通过decode()转换为utf-8,这样就解决了通过response.text直接返回显示乱码的问题.
Requests模块允许使用params关键字传递参数,以一个字典来传递这些参数
response = requests.get("http://httpbin.org/get",params=data)
response = requests.post("http://httpbin.org/post",data=data)
文件上传
files= {"files":open("git.jpeg","rb")}
response = requests.post("http://httpbin.org/post",files=files)
获取cookie response.cookies
证书验证
from requests.packages import urllib3
urllib3.disable_warnings()
response = requests.get("https://www.12306.cn",verify=False)
代理设置
requests.get("https://www.baidu.com",proxies=proxies)
认证设置
response = requests.get("http://120.27.34.24:9001/",auth=HTTPBasicAuth("user","123"))
异常
所有的异常方法都在requests.exceptions,使用时根据需要进行引入即可
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
我们提供的服务有:成都网站制作、成都网站设计、微信公众号开发、网站优化、网站认证、
成武ssl等。为上1000+企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务,是有科学管理、有技术的
成武网站制作公司
当前名称:python爬虫开发基础知识-创新互联
分享网址:
http://cdkjz.cn/article/disdoh.html