资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

selenium使用如何用python抓取js生成的数据?-创新互联

如何用python抓取js生成的数据?有几种方法,如phantomJS、WebKit、selenium等。如果您对爬行的性能没有任何要求,请尝试selenium或Watir。Web自动化测试脚本可以很好地使用它做很多事情。使用浏览器执行JS,然后从dom获取数据。另一方面,如果你知道JS是通过Ajax或者API获取数据的,你可以直接获取数据源,得到JSON或者XML,然后处理数据selenium使用 如何用py
thon抓取js生成的数据?

这个问题真的很麻烦。以前没有解决过。虽然selenium可以执行JS脚本,但是它不能读取返回值,或者JS获得的返回值不能与Python交互,这也是一种异常的痛苦。我能想到的是,JS模拟Ajax操作,获取返回值,然后用JS将返回值写入web页面。您可以在代码之后添加一个新元素来编辑返回值(以防止特殊字符影响解析),将其写入元素的值,然后使用selenium的find_u2;element定位元素并获取值。

成都创新互联是一家专注于成都网站设计、网站制作与策划设计,泗县网站建设哪家好?成都创新互联做网站,专注于网站建设10年,网设计领域的专业建站公司;建站业务涵盖:泗县等地区。泗县做网站价格咨询:028-86922220selenium如何将js定位value取到?

1、看相应的JS代码,用Python获取原始数据,模仿JS编写相应的Python代码。

2、通过接口API获取数据,直接使用Python获取和处理接口数据。

三。终极方法。使用selenium和phantom-JS执行web页面的JS代码,获取数据。这种方法可以得到100%的数据,但速度太慢。

如何用python抓取js生成的数据?

应使用Get属性方法:驱动程序。查找元素按xpath(“//*[@id=”keyuucompany$value“]”)。getuAttribute(“value”)一定能解决您的问题。getattribute获取标签的属性值:您还可以获取img、a、table和input的属性值

如果您对爬网性能没有任何要求,请尝试selenium或Watir。Web自动化测试脚本可以很好地使用它做很多事情。使用浏览器执行JS,然后从dom获取数据。另一方面,如果您知道JS是通过Ajax或API获取数据的,那么直接转到数据源,获取JSON或XML,然后处理数据


本文标题:selenium使用如何用python抓取js生成的数据?-创新互联
分享路径:http://cdkjz.cn/article/jjjdh.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220