资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

python爬虫如何爬取英文文档存为PDF,在读取PDF自动翻译文档

这篇文章给大家分享的是有关python爬虫如何爬取英文文档存为PDF,在读取PDF自动翻译文档的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。

让客户满意是我们工作的目标,不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户,将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴,公司提供的服务项目有:域名注册、网络空间、营销软件、网站建设、右玉网站维护、网站推广。

        这几天在爬了Python的官方文档,但是它里面全是英文,只有数字,没有汉字,原谅我这个英语渣渣搞不懂,只能靠翻译了,如果是复制到百度翻译的话太慢,耗时间。所以就直接用爬虫来搞了,自动化翻译文档

这是百度翻译的页面

python爬虫如何爬取英文文档存为PDF,在读取PDF自动翻译文档

        刚开始想用urllib去做,但是给我报了一个我的浏览器版本太低了,估计就是得加headers和UA。太麻烦了,就想到了selenium,直接用selenium妥妥的,下面就是详细步骤了。

先从爬Python官网开始吧

python爬虫如何爬取英文文档存为PDF,在读取PDF自动翻译文档

就只抓了这一页的数据。这个简单,直接可以使用requests或者urllib抓取,然后转换成pdf。我的是在框架里面,有点麻烦,如果你觉得麻烦可以直接请求。

安装Python库:pip3 install pdfkit

安装插件wkhtmltopdf,  

https://wkhtmltopdf.org/downloads.html官网地址

import scrapy
import pdfkit

class so_python3_spider(scrapy.Spider):

   name = 'doc'
   def start_requests(self):
       url = 'https://docs.python.org/3.8/whatsnew/3.8.html'
       yield scrapy.Request(url=url, callback=self.parse)
       
   def parse(self, response):
       body = response.selector.xpath('//div[@class="section"]').extract()
       title = response.selector.xpath('//div[@class="section"]/h2/text()').extract()
       html_template = """
                   
                   
                   
                       
                   
                   
                   {content}
                   
                   
               """
       for i in range(len(body)):
           html = html_template.format(content=body[i])
           with open(title[i]+'.html', 'a', encoding='utf8') as f:
               f.write(html)
           options = {
               'page-size': 'Letter',
               'encoding': "UTF-8",
               'custom-header': [
                   ('Accept-Encoding', 'gzip')
               ]
           }
           path_wk = r'D:\Program Files\wkhtmltopdf\bin\wkhtmltopdf.exe'  # 安装位置
        config = pdfkit.configuration(wkhtmltopdf=path_wk)
           pdfkit.from_file(title[i]+'.html', title[i]+'.pdf', options=options, configuration=config)

python爬虫如何爬取英文文档存为PDF,在读取PDF自动翻译文档

        我是直接将一个div里面的这个内容全部拿下来,然后拼接一个新的html,将这个新的HTML转换成PDF。

        第二阶段就是打开这个pdf,读取该文档,将其发送到百度翻译的框框,获取翻译的结果,重新保存

-----------读取文档--------      

def read_pdf_to_text(self):
   fp = open("What’s New In Python 3.8.pdf", "rb")  # 根据二进制的方式读取
   # 如果是url
   # fp=request.urlopen(url)#网址
   # 创建与文档关联的解释器
   parser = PDFParser(fp)
   # 创建一个pdf文档对象
   doc = PDFDocument()
   # 连接解释器和文档对象
   parser.set_document(doc)
   doc.set_parser(parser)

   # 对文档进行初始化
   doc.initialize("")  # 文件没有密码就是空字符串
   # 创建一个pdf资源管理器
   resouse = PDFResourceManager()
   # 创建一个参数分析器
   lap = LAParams()
   # 创建一个聚合器
   device = PDFPageAggregator(resouse, laparams=lap)
   # 创建一个页面解释器
   interpreter = PDFPageInterpreter(resouse, device)
   # 开始读取内容
   for page in doc.get_pages():
       # 调用页面解释器来解释
       interpreter.process_page(page)
       # 使用聚合器来获得内容
       layout = device.get_result()
       for out in layout:
           if hasattr(out, "get_text"):
               content = out.get_text()

将文档读取,发送到百度翻译https://fanyi.baidu.com/?aldtype=16047#en/zh

找到输入框和输出框的位置

python爬虫如何爬取英文文档存为PDF,在读取PDF自动翻译文档

翻译模块(复制到微信里,格式有点问题,大家自己修正)

def baidu_fanyi(self, content):

   time.sleep(5)
   # 找到输入框的位置,并将内容发送到该位置
   self.browser.find_element_by_id('baidu_translate_input').send_keys(content)
   time.sleep(5)
   # 获取输出框的内容
   con = self.browser.find_element_by_class_name('output-bd')
   # 写入文件
   with open('python3.8.txt', 'a', encoding='utf8') as f:
       # 由于content内容带有回车符,所以不用
       f.write(content + con.text + '\n')
   # 将输入框清空,等待下一次输入
   self.browser.find_element_by_id('baidu_translate_input').clear()
   time.sleep(5)

这是翻译后输出的内容

python爬虫如何爬取英文文档存为PDF,在读取PDF自动翻译文档

当然还有可以优化加强的部分,比如使用pyqt做个界面,打包成exe就可以当程序用了。有什么建议留言。

感谢各位的阅读!关于“python爬虫如何爬取英文文档存为PDF,在读取PDF自动翻译文档”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!


分享文章:python爬虫如何爬取英文文档存为PDF,在读取PDF自动翻译文档
网页链接:http://cdkjz.cn/article/gscegh.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220