利用lxml从网页HTML/XML中提取数据

也就是说，etree.HTML()函数会补全html代码片段，给它们加上和标签。

使用lxml.html函数

lxml.html是lxml的子模块，它是对etree的封装，更适合解析html网页。用这个子模块生成DOM树的方法有多个：
lxml.html.document_fromstring()
lxml.html.fragment_fromstring()
lxml.html.fragments_fromstring()
lxml.html.fromstring()

它们的docstring可以在ipython里面查一下，这里就不再列举。通常，我们解析网页用最后一个fromstring()即可。这个fromstring()函数也会给我们的样例html代码最顶层的两个并列节点加一个父节点div。

上面三种方法介绍完，相信你自己已经有了选择，那必须是lxml.html。

因为它针对html做了封装，所以也多了写特有的方法:

比如我们要获得某个节点下包含所有子节点的文本内容时，通过etree得到的节点没办法，它的每个节点有个text属性只是该节点的，不包括子节点，必须要自己遍历获得子节点的文本。而lxml.html有一个text_content()方法可以方便的获取某节点内包含的所有文本。

再比如，好多网页的链接写的都是相对路径而不是完整url：，我们提取链接后还要自己手动拼接成完整的url。这个时候可以用lxml.html提供的make_links_absolute()方法，这个方法是节点对象Element的方法，etree的Element对象却没有。

使用xpath提取数据

我们还以下面这段html代码为例，来看看如何定位节点提取数据。

    item_1

    item_2



    item_3

首先导入lxml.html模块，生成DOM树：

In [50]: import lxml.html as lh

In [51]: doc = lh.fromstring(html)

(1)通过标签属性定位节点
比如我们要获取

In [52]: doc.xpath('//div[@class="2"]')
Out[52]: []

In [53]: print(lh.tostring(doc.xpath('//div[@class="2"]')[0]).decode())

    item_3

(2)contains语法
html中有两个

标签的class含有item，如果我们要提取这两个

标签，则：

In [54]: doc.xpath('//p[contains(@class, "item")]')
Out[54]: [, ]

## 获取
的文本：
In [55]: doc.xpath('//p[contains(@class, "item")]/text()')
Out[55]: ['item_1', 'item_2']

(3)starts-with语法
跟（2）一样的提取需求，两个

标签的class都是以p_开头的，所以：

In [60]: doc.xpath('//p[starts-with(@class, "p_")]')
Out[60]: [, ]

## 获取
的文本：
In [61]: doc.xpath('//p[starts-with(@class, "p_")]/text()')
Out[61]: ['item_1', 'item_2']

(4)获取某一属性的值
比如，我们想提取网页中所有的链接：

In [63]: doc.xpath('//@href')
Out[63]: ['/go-p3']

看完上述内容，你们对利用lxml从网页HTML/XML中提取数据有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注创新互联行业资讯频道，感谢大家的支持。