从品牌网站建设到网络营销策划,从策略到执行的一站式服务
这篇文章将为大家详细讲解有关python如何爬取百度贴吧图片,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
创新互联公司2013年至今,先为广陵等服务建站,广陵等地企业,进行企业商务咨询服务。为广陵企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。
1,目标:
爬取贴吧每一贴,楼主图,并保存。
由于图片大多是楼主发的,如果全部查找会浪费很多时间。
2,分析
我选择爬取的贴吧为图吧,你们可以选择自己想要爬取的贴吧。
2.1,获取页面
我们将爬取页面的代码写成一个get_html()方法,给他传入url参数
代码如图:
获取正常,没问题。
我们用chrome的开发者模式来分析每个贴的连接,用定位定位一个帖子,这样方便我们快速的去查找我们想要的信息。
如图:
2.2利用正则表达式找出我们想要的连接
通过查找,我们发现每个贴都是在class=“col2_right j_threalist_li/_right”下
我们可以让他成为一个标志位,通过它继续往下找,他有两个类名,我们选择后者即可。
返回的是一个数组,为了好看我们以字典的方式返回,用yield我们可以理解为返回值,在python基础里会讲,我们将获取的页面作为参数传进去,实现get_url方法。
如图:
我们来打印一下,看一下获取的是什么?
结果如图:
很明显,我们需要来拼接一下,获取完整的url,我们点击一个进入,可以发现,url是这样的:https://tieba.baidu.com/p/5768252315,我们得到了后半部分,那就容易了,只需要拼接一下,得到的结果就变成了:
得到链接后,我们需要再次发送请求,获取到每个贴的内容,即调用我们上面写好的get_html()方法即可。
2.3找到每个帖子楼主发的图片链接
同样的方式,打开开发者模式,找的图片,找出标志位,写出正则,这里就不详细说了,正则为: 实现get_img_url()方法: 结果图为: 2.4获取到图片地址后,自然是要下载下来实现write_to_file()方法 下载图片,在上篇文章上已经有实例, 连接:python第二大神器requests 这里直接上代码图: 里面的正则是用来作为图片名字的,time.sleep(2)是为了爬取慢点 太快会无响应或者报错。 下面我们试一下效果: 我们来修改一下,来爬取第一页贴种的所有贴,获取楼主贴的总页数 和上面同样的方式找到总页数,并写出获取总页数的正则: 实现get_ye方法,同时点击只看楼主,url会多出see_lz=1 如图: 2.6由于有些贴吧的贴子很多,我们就选择获取前十页内容,当然你也可以写个方法换取所有页 这里就不实例了,在贴吧里点击下一页我们发现url多出pn=50,由此我们知道50为偏移量,即一页有50个帖子pn=n 是n+1到n+50帖子 2.7整合一下代码,我们用main()方法来调用上面的方法。 如图: 关于“python如何爬取百度贴吧图片”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。
当前名称:python如何爬取百度贴吧图片
转载来源:http://cdkjz.cn/article/gidcgp.html
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图