从品牌网站建设到网络营销策划,从策略到执行的一站式服务
Python爬取网页信息的步骤
以爬取英文名字网站(https://nameberry.com/)中每个名字的评论内容,包括英文名,用户名,评论的时间和评论的内容为例。
1、确认网址
在浏览器中输入初始网址,逐层查找链接,直到找到需要获取的内容。
在打开的界面中,点击鼠标右键,在弹出的对话框中,选择“检查”,则在界面会显示该网页的源代码,在具体内容处点击查找,可以定位到需要查找的内容的源码。
注意:代码显示的方式与浏览器有关,有些浏览器不支持显示源代码功能(360浏览器,谷歌浏览器,火狐浏览器等是支持显示源代码功能)
步骤图:
1)首页,获取A~Z的页面链接
2)名字链接页,获取每个字母中的名字链接(存在翻页情况)
3)名字内容页,获取每个名字的评论信息
2、编写测试代码
1)获取A~Z链接,在爬取网页信息时,为了减少网页的响应时间,可以根据已知的信息,自动生成对应的链接,这里采取自动生成A~Z之间的连接,以pandas的二维数组形式存储
def get_url1(): urls=[] # A,'B','C','D','E','F','G','H','I','J','K','L','M','N','O','P','Q','R','S','T','U','V','W','X','Y','Z' a=['A','B','C','D','E','F','G','H','I','J','K','L','M','N','O','P','Q','R','S','T','U','V','W','X','Y','Z'] #自动生成A~Z的链接 for i in a: urls.append("https://nameberry.com/search/baby_names_starting_with/%s" %i) dp=pd.DataFrame(urls) dp.to_csv("A~Z_Link1.csv",mode="a",encoding='utf_8_sig') #循环用于在每个字母链接下,调用爬取名字链接的页面的函数,即函数嵌套 for j in urls: get_pages_Html(j) return urls
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图