如何用python抓取网站教程并制作成PDF文档-创新互联

这篇文章主要介绍“如何用python抓取网站教程并制作成PDF文档”，在日常操作中，相信很多人在如何用python抓取网站教程并制作成PDF文档问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”如何用python抓取网站教程并制作成PDF文档”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

实现功能：抓取廖雪峰网站的python教程，保存html页面到本地，然后用pdfkit包将html转换为pdf。
运行需求：安装python的pdfkit包和windows下的wkhtmltopdf。

代码如下：
# -*- coding: utf-8
import urllib2
import urllib
import re,os
import time
import pdfkit
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

class Liao:
    def __init__(self,init_url,out_put_path):
        self.init_url = init_url
        self.out_put_path = out_put_path
        self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        self.headers = { 'User-Agent' : self.user_agent }
        self.file_name = 'liao.pdf'
        self.html_template = """
                           
                           
                           
                               
                           
                           
                            {content}
                           
                           

    #获取网页内容
    def get_content(self,url):
        try:
            request = urllib2.Request(url,headers=self.headers)
            response = urllib2.urlopen(request)
            content = response.read().decode('utf-8').encode('GBK')
            return content
        except urllib2.URLError, e:
            if hasattr(e,"reason"):
                print u"连接页面失败,错误原因",e.reason
                return None

    #获取文章目录url列表
    def get_article_url(self):
        content = self.get_content(self.init_url)
        #print content
        pattern = re.compile(r'

',re.S)
        result = re.findall(pattern,content)
        i = 1
        print len(result)
        # for x in result:
        #     print x[0],x[1]
        #     i+=1
        return result

    #获取文章内容，传入文章的url，返回文章内容
    def get_article_detail(self):
        url_list = self.get_article_url()
        pattern = re.compile(r'

(.*?)

',re.S)
        # patt_title = re.compile(r'

(.*?)

')
        patt_img = re.compile(r'        i = 1
        urls = []
        for item in url_list:
            #获取文章的url
            article_url = 'http://www.liaoxuefeng.com' + item[1]
            url_ind = article_url.split('/')[-1]

            #提取文章标题
            article_title = item[2].replace('/','_')
            title_level = item[0]
            #title_tag = '' + article_title + ''
            title_tag = '

' + article_title + '

'
            #生成html文件名
            html_file = url_ind + '.html'

            #根据文章url，抓取文章内容
            content = self.get_content(article_url)
            article_content = str(re.findall(pattern,content)[0])

            #处理图片的url,加上域名
            def func(m):
                if not m.group(1).startswith("http"):
                    rtn = '                    return rtn
                else:
                    return '            article_content = re.compile(patt_img).sub(func, article_content)

            #将标题加到文章内容中
            article_content = title_tag + article_content
            article_content = self.html_template.format(content=article_content)

            #生成url及文件名列表
            urls.append((url_ind,html_file))

            #写文件
            print 'saving file ' + html_file
            with open(html_file, 'wb') as f:
                f.write(article_content)
        return urls

    #将html保存成pdf
    def save_pdf(self,htmls):
        """
        把所有html文件保存到pdf文件
        """
        options = {
                'page-size': 'Letter',
                'encoding': "UTF-8",
                'custom-header': [
                    ('Accept-Encoding', 'gzip')
                ]
            }
        pdfkit.from_file(htmls, self.file_name, options=options)

init_url = 'http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000'
out_put_path = 'd:/python/test/output'
liao = Liao(init_url,out_put_path)
urls = liao.get_article_detail()
htmls = [x[1] for x in urls]
liao.save_pdf(htmls)

到此，关于“如何用python抓取网站教程并制作成PDF文档”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联-成都网站建设公司网站，小编会继续努力为大家带来更多实用的文章！

当前标题：如何用python抓取网站教程并制作成PDF文档-创新互联
标题网址：http://cdkjz.cn/article/dpdjcd.html