BeautifulSoup库的使用方法

小编给大家分享一下Beautiful Soup库的使用方法，希望大家阅读完这篇文章后大所收获，下面让我们一起去探讨吧！

目前创新互联建站已为近千家的企业提供了网站建设、域名、网页空间、网站托管运营、企业网站设计、象山网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。

Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。Beautiful Soup 会帮你节省数小时甚至数天的工作时间。

1. 安装

以下都是在 python2.7 中进行测试的。

可以直接使用 pip 安装：

$ pip install beautifulsoup4

BeautifulSoup 不仅支持 HTML 解析器,还支持一些第三方的解析器，如，lxml，XML，html5lib 但是需要安装相应的库。

$ pip install lxml
$ pip install html5lib

2. 开始使用

Beautiful Soup 的功能相当强大，但我们只介绍经常使用的功能。

简单用法

将一段文档传入 BeautifulSoup 的构造方法,就能得到一个文档的对象, 可以传入一段字符串或一个文件句柄。

>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup("
data
")
>>> soup
data
>>> soup('p')
[
data
]

首先传入一个 html 文档，soup 是获得文档的对象。然后,文档被转换成 Unicode ,并且 HTML 的实例都被转换成 Unicode 编码。然后,Beautiful Soup 选择最合适的解析器来解析这段文档,如果手动指定解析器那么 Beautiful Soup 会选择指定的解析器来解析文档。但是一般最好手动指定解析器，并且使用 requests 与 BeautifulSoup 结合使用， requests 是用于爬取网页源码的一个库，此处不再介绍，requests 更多用法请参考  Requests 2.10.0 文档 。

要解析的文档是什么类型: 目前支持, html, xml, 和 html5

指定使用哪种解析器: 目前支持, lxml, html5lib, 和 html.parser

from bs4 import BeautifulSoup
import requests
html = requests.get(‘http://www.jianshu.com/’).content  
soup = BeautifulSoup(html, 'html.parser', from_encoding='utf-8')
result = soup('div')

对象的种类

Beautiful Soup 将复杂 HTML 文档转换成一个复杂的树形结构,每个节点都是 Python 对象,所有对象可以归纳为 4 种: Tag , NavigableString , BeautifulSoup , Comment。

Tag：通俗点讲就是 HTML 中的一个个标签，像上面的 div，p。每个 Tag 有两个重要的属性 name 和 attrs，name 指标签的名字或者 tag 本身的 name，attrs 通常指一个标签的 class。

NavigableString：获取标签内部的文字，如，soup.p.string。

BeautifulSoup：表示一个文档的全部内容。

Comment：Comment 对象是一个特殊类型的 NavigableString 对象，其输出的内容不包括注释符号。

示例

下面是一个示例，带你了解 Beautiful Soup 的常见用法：

import sys  
reload(sys)  
sys.setdefaultencoding('utf-8') 
from bs4 import BeautifulSoup
import requests
html_doc = """

      
      
    



  
      
    

      
        阿随向前冲
        ·
        
      

       只装了这六款软件，
      工作就高效到有时间逛某宝刷某圈
      
        
          阅读 1830
        
           · 评论 35
         · 喜欢 95
           · 打赏 1