用python批量获取网页图片的方法

小编给大家分享一下用python批量获取网页图片的方法，希望大家阅读完这篇文章后大所收获，下面让我们一起去探讨吧！

成都创新互联制作网站网页找三站合一网站制作公司,专注于网页设计,成都做网站、网站建设,网站设计,企业网站搭建,网站开发,建网站业务,680元做网站,已为上千余家服务,成都创新互联网站建设将一如既往的为我们的客户提供最优质的网站建设、网络营销推广服务!

用python批量获取网页图片的方法：1、通过url获取目标文件源码；2、处理【index.html】源码中的图片资源；3、保存【index.html】中的【css】文件；4、解码base64格式的图片并保存。

你可能需要的工作环境：

Python 3.6官网下载

我们这里以sogou作为爬取的对象。

首先我们进入搜狗图片

进去后就是这个啦，然后F12进入开发人员选项，笔者用的是Chrome。

右键图片>>检查    

发现我们需要的图片src是在img标签下的，于是先试着用 Python 的 requests提取该组件，进而获取img的src然后使用 urllib.request.urlretrieve逐个下载图片，从而达到批量获取资料的目的，思路好了，下面应该告诉程序要爬取的url为http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD，此url来自进入分类后的地址栏。明白了url地址我们来开始愉快的代码时间吧：

在写这段爬虫程序的时候，最好要逐步调试，确保我们的每一步操作正确，这也是程序猿应该有的好习惯。笔者不知道自己算不算个程序猿哈。线面我们来剖析该url指向的网页。

import requests
import urllib
from bs4 import BeautifulSoup
res = requests.get('http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD')
soup = BeautifulSoup(res.text,'html.parser')
print(soup.select('img'))

output：

 发现输出内容并不包含我们要的图片元素，而是只剖析到logo的img，这显然不是我们想要的。也就是说需要的图片资料不在url  即 http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD里面。因此考虑可能该元素是动态的，细心的同学可能会发现，当在网页内，向下滑动鼠标滚轮，图片是动态刷新出来的，也就是说，该网页并不是一次加载出全部资源，而是动态加载资源。这也避免了因为网页过于臃肿，而影响加载速度。下面痛苦的探索开始了，我们是要找到所有图片的真正的url 笔者也是刚刚接触，找这个不是太有经验。最后找的位置F12>>Network>>XHR>>(点击XHR下的文件)>>Preview。

发现，有点接近我们需要的元素了，点开all_items 发现下面是0 1 2 3...一个一个的貌似是图片元素。试着打开一个url。发现真的是图片的地址。找到目标之后。点击XHR下的Headers

得到第二行

Request URL:

http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=0&len=15&width=1536&height=864，试着去掉一些不必要的部分，技巧就是，删掉可能的部分之后，访问不受影响。经笔者筛选。最后得到的url：http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=0&len=15  字面意思，知道category后面可能为分类。start为开始下标，len为长度，也即图片的数量。好了，开始愉快的代码时间吧：

开发环境为Win7  Python 3.6，运行的时候Python需要安装requests，

Python3.6 安装requests 应该CMD敲入：

pip install requests

笔者在这里也是边调试边写，这里把最终的代码贴出来：

import requestsimport jsonimport urllibdef getSogouImag(category,length,path):
    n = length
    cate = category
    imgs = requests.get('http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category='+cate+'&tag=%E5%85%A8%E9%83%A8&start=0&len='+str(n))
    jd = json.loads(imgs.text)
    jd = jd['all_items']
    imgs_url = []    for j in jd:
        imgs_url.append(j['bthumbUrl'])
    m = 0    for img_url in imgs_url:            print('***** '+str(m)+'.jpg *****'+'   Downloading...')
            urllib.request.urlretrieve(img_url,path+str(m)+'.jpg')
            m = m + 1    print('Download complete!')
getSogouImag('壁纸',2000,'d:/download/壁纸/')

程序跑起来的时候，笔者还是有点小激动的。来，感受一下：

至此，关于该爬虫程序的编程过程叙述完毕。整体来看，找到需要爬取元素所在url，是爬虫诸多环节中的关键。

看完了这篇文章，相信你对用python批量获取网页图片的方法有了一定的了解，想了解更多相关知识，欢迎关注创新互联行业资讯频道，感谢各位的阅读！