资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划，从策略到执行的一站式服务

网站建设 >

查看其它板块

python爬虫开发基础知识

  1. Request
    请求方式 常用的有get post
    请求的url
    第一部分是协议(或称为服务方式)
    第二部分是存有该资源的主机IP地址(有时也包括端口号)
    第三部分是主机资源的具体地址，如目录和文件名等
    请求头 包含请求时的头部信息，如User-Agent,Host,Cookies等信息
    请求体 请求时携带的数据，如提交表单数据时候的表单数据
  2. Response
    所有HTTP响应的第一行都是状态行，依次是当前HTTP版本号，3位数字组成的状态代码，以及描述状态的短语，彼此由空格分隔
    相应状态 有多种响应状态，如：200代表成功，301跳转，404找不到页面，502服务器错误
    响应头 如内容类型，类型的长度，服务器信息，设置Cookie
    响应体 最主要的部分，包含请求资源的内容，如网页HTMl,图片，二进制数据等
    3.URL解析
    urlparse
    from urllib.parse import urlparse
    result = urlparse("http://www.baidu.com/index.html;user?id=5#comment")
    urlencode 这个方法可以将字典转换为url参数
    urlencode(params) params 是字典格式
    4.Requests是用python语言基于urllib编写的
    response.text会出现乱码的问题，所以这个使用response.content
    这样返回的数据格式其实是二进制格式，然后通过decode()转换为utf-8，这样就解决了通过response.text直接返回显示乱码的问题.
    Requests模块允许使用params关键字传递参数，以一个字典来传递这些参数
    response = requests.get("http://httpbin.org/get",params=data)
    response = requests.post("http://httpbin.org/post",data=data)
    文件上传
    files= {"files":open("git.jpeg","rb")}
    response = requests.post("http://httpbin.org/post",files=files)
    获取cookie response.cookies
    证书验证
    from requests.packages import urllib3
    urllib3.disable_warnings()
    response = requests.get("https://www.12306.cn",verify=False)
    代理设置
    requests.get("https://www.baidu.com",proxies=proxies)
    认证设置
    response = requests.get("http://120.27.34.24:9001/",auth=HTTPBasicAuth("user","123"))
    异常
    所有的异常方法都在requests.exceptions，使用时根据需要进行引入即可

网站题目：python爬虫开发基础知识
本文路径：http://cdkjz.cn/article/jddecp.html
返回首页 了解更多建站资讯

相关资讯

多年建站经验

多一份参考，总有益处

联系快上网，免费获得专属《策划方案》及报价

咨询相关问题或预约面谈，可以通过以下方式与我们联系

大客户专线   成都：13518219792   座机：028-86922220

在线咨询 提交需求
友情链接 交换友情链接
泸州网站建设成都能净科技吉安网站建设遂宁海缘科技广告品牌策划设计网站优化公司乐至网站建设郫县明安消防器材注册域名成都定制网站开发

成都网站建设公司地址：成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220

成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.

专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网！ | 成都网站建设哪家好？ | 网站建设地图