资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

Python爬虫中搜索文档树的方法

这篇文章将为大家详细讲解有关Python爬虫中搜索文档树的方法,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

滨城网站制作公司哪家好,找创新互联!从网页设计、网站建设、微信开发、APP开发、成都响应式网站建设等网站项目制作,到程序开发,运营维护。创新互联于2013年成立到现在10年的时间,我们拥有了丰富的建站经验和运维经验,来保证我们的工作的顺利进行。专注于网站建设就选创新互联。

搜索文档树

1.find_all(name, attrs, recursive, text, **kwargs)

1)name参数

name参数可以查找所有名字为name的Tag,字符串对象会被自动忽略掉。

a.传字符串

最简单的过滤器就是字符串,在搜索方法中传入一个字符串参数,Beautiful Soup会查找与字符串完整匹配所有的内容,返回一个列表。

#!/usr/bin/python3
# -*- coding:utf-8 -*-
 
from bs4 import BeautifulSoup
 
html = """
The Dormouse's story

The Dormouse's story

Once upon a time there were three little sisters; and their names were , Lacie and Tillie; and they lived at the bottom of a well.

...

"""   # 创建 Beautiful Soup 对象,指定lxml解析器 soup = BeautifulSoup(html, "lxml")   print(soup.find_all("b"))  print(soup.find_all("a"))

运行结果

[The Dormouse's story]
[Lacie, Tillie]

B.传正则表达式

如果传入正则表达式作为参数,Beautiful Soup会通过正则表达式match()来匹配内容。

#!/usr/bin/python3
# -*- coding:utf-8 -*-
 
from bs4 import BeautifulSoup
import re
 
html = """
The Dormouse's story

The Dormouse's story

Once upon a time there were three little sisters; and their names were , Lacie and Tillie; and they lived at the bottom of a well.

...

"""   # 创建 Beautiful Soup 对象,指定lxml解析器 soup = BeautifulSoup(html, "lxml")   for tag in soup.find_all(re.compile("^b")):     print(tag.name)

运行结果

body
b

C.传列表

如果传入列表参数,Beautiful Soup会将与列表中任一元素匹配的内容以列表方式返回。

#!/usr/bin/python3
# -*- coding:utf-8 -*-
 
from bs4 import BeautifulSoup
 
html = """
The Dormouse's story

The Dormouse's story

Once upon a time there were three little sisters; and their names were , Lacie and Tillie; and they lived at the bottom of a well.

...

"""   # 创建 Beautiful Soup 对象,指定lxml解析器 soup = BeautifulSoup(html, "lxml")   print(soup.find_all(['a', 'b']))

2)keyword参数

#!/usr/bin/python3
# -*- coding:utf-8 -*-
 
from bs4 import BeautifulSoup
 
html = """
The Dormouse's story

The Dormouse's story

Once upon a time there were three little sisters; and their names were , Lacie and Tillie; and they lived at the bottom of a well.

...

"""   # 创建 Beautiful Soup 对象,指定lxml解析器 soup = BeautifulSoup(html, "lxml")   print(soup.find_all(id="link1"))

运行结果

[]

3)text参数

通过text参数可以搜索文档中的字符串内容,与name参数的可选值一样,text参数接受字符串,正则表达式,列表。

#!/usr/bin/python3
# -*- coding:utf-8 -*-
 
from bs4 import BeautifulSoup
import re
 
html = """
The Dormouse's story

The Dormouse's story

Once upon a time there were three little sisters; and their names were , Lacie and Tillie; and they lived at the bottom of a well.

...

"""   # 创建 Beautiful Soup 对象,指定lxml解析器 soup = BeautifulSoup(html, "lxml")   # 字符串 print(soup.find_all(text = " Elsie "))   # 列表 print(soup.find_all(text = ["Tillie", " Elsie ", "Lacie"]))   # 正则表达式 print(soup.find_all(text = re.compile("Dormouse")))

运行结果

[' Elsie ']
[' Elsie ', 'Lacie', 'Tillie']
["The Dormouse's story", "The Dormouse's story"]

关于Python爬虫中搜索文档树的方法就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。


标题名称:Python爬虫中搜索文档树的方法
网址分享:http://cdkjz.cn/article/jsdeco.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220