除了从文件加载数据,另一个数据源是互联网,互联网每天产生各种不同的数据,可以用各种各样的方式从互联网加载数据。
成都创新互联是一家集网站建设、网站制作、网站页面设计、网站优化SEO优化为一体的专业的建站公司,已为成都等多地近百家企业提供网站建设服务。追求良好的浏览体验,以探求精品塑造与理念升华,设计最适合用户的网站页面。 合作只是第一步,服务才是根本,我们始终坚持讲诚信,负责任的原则,为您进行细心、贴心、认真的服务,与众多客户在蓬勃发展的市场环境中,互促共生。
一、了解Web API
Web 应用编程接口(API)自动请求网站的特定信息,再对这些信息进行可视化。每次运行,都会获取最新的数据来生成可视化,因此即便网络上的数据瞬息万变,它呈现的信息也都是最新的。
Web API是网站的一部分,用于与使用非常具体的URL请求特定信息的程序交互。这种请求称为API调用。请求的数据将以易于处理的格式(如JSON或CSV)返回。
GitHub(https://github.com/)上的项目都存储在仓库中,后者包含与项目相关联的一切:代码、项目参与者的信息、问题或bug报告等,编写一个自动下载GitHub上的Python项目的相关信息。
在浏览器中打开: https://api.github.com/search/repositories?q=language:python&sort=stars,可以看到如下内容,
此调用返回GitHub当前托管了total_count 个Python项目,还有最受欢迎的Python仓库的信息。
其中第一部分( https://api.github.com/ )将请求发送到GitHub网站中响应API调用的部分;
第二部分( search/repositories )让API搜索GitHub上的所有仓库。
repositories 后面的问号指出我们要传递一个实参。 q 表示查询,而等号让我们能够开始指定
查询( q= )。通过使用 language:python ,我们指出只想获取主要语言为Python的仓库的信息。
最后一部分( &sort=stars )指定将项目按其获得的星级进行排序。
但我们不能每次通过打开网页的形式来获取数据。但可以通过python中相关库
二、安装requests
requests是一个很实用的Python HTTP客户端库,专门用于发送HTTP请求,方便编程,编写爬虫和测试服务器响应数据时经常会用到,
Requests主要相关参数有:
r.status_code 响应状态码
r.heards 响应头
r.cookies 响应cookies
r.text 响应文本
r. encoding 当前编码
r. content 以字节形式(二进制)返回
鉴于一直都使用的是anaconda3,可直接打开 anaconda prompt,然后输入命令:pip install --user requests 安装即可。
下面来编写一个程序,执行API调用并处理结果,找出GitHub上星级最高的Python项目,代码如下:
import requests # 导入模块requests url='https://api.github.com/search/repositories?q=language:python&sort=stars'#存储API调用的URL r = requests.get(url) # 调用get()并将URL传递给它,响应对象存储在变量 r中 print("Status code:",r.status_code) #包含一个名为status_code的属性 response_dict = r.json() # 使用方法json()将这些信息转换为一个Python字典 print(response_dict.keys()) #打印出字典的key