网页函数python 网页函数代码

Python是什么啊？

Python编程是一种跨平台的计算机程序设计语言，是ABC语言的替代品。Python能提供高效的高级数据结构，还能简单有效地面向对象编程，是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本，随着版本的不断更新和语言新功能的添加，越来越多被用于独立的、大型项目的开发。

让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：申请域名、虚拟空间、营销软件、网站建设、清丰网站维护、网站推广。



拓展：Python能做什么

1、Web开发

Python拥有很多免费数据函数库、免费web网页模板系统、以及与web服务器进行交互的库，可以实现web开发，搭建web框架。

2、数据科学

将Python用于机器学习：可以研究人工智能、机器人、语言识别、图像识别、自然语言处理和专家系统等。

将Python用于数据分析/可视化：大数据分析等等。

3、网络爬虫

网络爬虫是指按照某种规则在网络上爬取所需内容的脚本程序。在爬虫领域，Python是必不可少的一部分。将网络一切数据作为资源，通过自动化程序进行有针对性的数据采集以及处理。

4、自动化运维

把运维工作自动化，能够把运维人员从服务器的管理中解放出来，让运维工作变得简单、快速、准确。

5、嵌入式应用开发、游戏开发和桌面应用开发。

python中函数包括

1. print()函数：打印字符串

2. raw_input()函数：从用户键盘捕获字符

3. len()函数：计算字符长度

4. format(12.3654，'6.2f'/'0.3%')函数：实现格式化输出

5. type()函数：查询对象的类型

6. int()函数、float()函数、str()函数等：类型的转化函数

7. id()函数：获取对象的内存地址

8. help()函数：Python的帮助函数

9. s.islower()函数：判断字符小写

10. s.sppace()函数：判断是否为空格

11. str.replace()函数：替换字符

12. import()函数：引进库

13. math.sin()函数：sin()函数

14. math.pow()函数：计算次方函数

15. 3**4: 3的4次方

16. pow(3,4)函数：3的4次方

17. os.getcwd()函数：获取当前工作目录

18. listdir()函数：显示当前目录下的文件

19. socket.gethostbyname()函数：获得某主机的IP地址

20. urllib.urlopen(url).read():打开网络内容并存储

21. open().write()函数：写入文件

22. webbrowser.open_new_tab()函数：新建标签并使用浏览器打开指定的网页

23. def function_name(parameters):自定义函数

24. time.sleep()函数：停止一段时间

25. random.randint()函数：产生随机数

如何利用Python自动完成对网页平台上可点击的元素操作，用什么模块，具体函数有哪些，请大神指教

用selenium就可以了，它模拟打开浏览器，打开网页。

通过页面元素的特征，定位到要点击的元素，click()方法就可以完成点击

比如

self.driver.find_element_by_xpath('//ul[@class="uhomeTagList-ul"]/li[2]').click()

使用python简单封装selenium常用函数

年前走查脚本代码时，发现大家对selenium功能都在重复造轮子，而且容易出现一些常见低级bug。于是在闲暇之余，封装一些常用的selenium功能。

在某些网页中，存在多个frame嵌套。而selenium提供的find_element函数只能在当前frame中查找，不能切换到其他frame中，需要从最上级frame中逐步切换（当然也可以指定xpath的绝对路径，但是一般没人这么做）。在我们写代码过程中，需要明确知道当前frame位置和需要寻找元素的frame位置。在frame切换过程中，容易因为疏忽导致frame切换错误导致元素无法找到的bug。

页面中分布的frame，可以理解为树状结构。因此我们可以采用递归的方式， 沿着某条搜索路线frame节点，依次对树中每个节点均做一次访问。

我们以163网址上的登录框为例：点击登录按钮，弹出登录iframe页面。输入框位置在iframe中，因此我们不能使用xpath获取元素位置，需要进入iframe中，然后获取元素。

手动切换ifame可能会产生bug，因此需要一套自动切换和检索frame的机制。具体代码如下：

需要注意的是：如果页面中多个frame中，存在相同的xpath元素。还是需要指定frame的路径，否则会返回搜索到的第一个元素。

强制等待

直接调用系统time.sleep函数，不管页面加载情况一定会等待指定的时间， 即使元素已被加载 。

1.如果设置的时间较长，会浪费时间

2.如果设置的时间较短，元素可能没有加载。

页面中某元素如果未能立即加载，隐式等待告诉WebDriver需等待一定的时间，然后去查找元素。默认不等待，隐式等待作用于整个WebDriver周期，只需设置一次即可。

1.在上文的find_element函数中，采用递归方式在所有frame寻找元素。若采用隐式等待，则在每个frame中都需要等待设定的时间，耗时非常长。

2.某些页面我们想要的元素已经加载完毕，但是部分其他资源未加载。隐式等待必须等待所有元素加载完毕，增加额外等待时间。

显示等待一般作用于某一个元素，在设定的时间范围内，默认每间隔0.5秒查找元素。返回被加载的元素，若超过设定的时间范围未能查找则报错。显示等待作为selenium常用的等待机制，我们来看下他的源码和机制。

driver 注释中解释为WebDriver实例，但是代码中并未有相关检测，因此可以传入任何对象

但是__repr__函数中使用到session_id属性，如果需要显示属性或者转为str对象，最好在driver对象中添加session_id属性

在until函数中，我们可以看到driver对象传入method函数。在计时结束前，在不断循环执行method函数，如果method函数有正常返回值则退出循环，否则报TimeoutException错误。

可以采用装饰器对隐式等待进行封装，这样代码更加精简

同样的，采用装饰器对其他常用的函数进行封装,例如强制等待、点击、输入文本等。

装饰器虽然很方便，但也会产生一些麻烦。例如在find_element函数递归调用过程中，理应只要执行一次装饰器函数。但因为装饰器已经装饰完毕，导致每次递归都会执行。例如强制等待的sleep函数，如果递归次数越多等待时间越长。

解除装饰器一般有两种做法：一是约定参数，当递归第二次调用时则不生效。例如

这种方式实现简单，容易理解。但是增加了参数限制，在fun函数中就不能使用first_sleep参数。

二是采用装饰器采用wrapped实现，通过访问wrapped属性获得原始函数。例如

但是某一个函数被多个装饰器装饰时，需要递归解除装饰器。例如

最后整体代码如下

这次的封装其实还存在很多问题

1.find_element函数不仅仅只是提供查找元素功能，还提供一些其他功能，因此叫element_operation更为合适。

2.find_element函数的参数过多，并且很多参数的使用并不在函数本身中，对代码阅读很不友好。

3.得小心避免参数重复问题，假设装饰器sleep和装饰器wait_time都使用time这个参数，将无法区分具体是哪个函数使用。

4.不利于扩展和维护，当功能过多时find_element的参数过于庞大。

如果只是简单地封装和使用，上面这种方式也能达到较好的效果。如果想进一步封装，建议采用链式调用方式，装饰器辅助封装。例如

这样函数的扩展性和可阅读性有较大的提升

网页编码和Python编码不匹配怎么办

网页编码格式有很多，比如UTF-8，GBK2312等，在网址页面F12键，ctrl+f搜索charset可看到该网页使用的编码格式，如CSDN为charset=”utf-8”。我们使用python获取网页内容时，经常会由于网页编码问题导致程序崩溃报错或获取到一堆二进制内容，软件的兼容性很差。有一个办法，可以通过第三方库chardet获取编码格式，再使用该编码格式解码数据可实现兼容。

1、安装chardet库

chardet是第三方库，需要先安装再使用。简单的办法是启动DOS界面，进入python安装路径下Scripts路径中（其中有pip脚本），运行”pip install chardet”，即可完成安装（可能需要先更新pip，根据提示运行命令即可）；

2、导入charset、建立函数

python工程中导入charset库（”import chardet”）;建立函数如下：

def get_url_context(url):

content = urllib.request.urlopen(url) #获取网页内容

encode = chardet.detect(content) #获取网页编码格式字典信息，字典encode中键encoding的值为编码格式

return content.decode(encode['encoding'], 'ignore') #根据获取到的编码格式进行解码，并忽略不能识别的编码信息

以上函数的返回值即为网页解码后的内容，无论网页是哪种格式编码，都能轻松识别转换；需要注意的是解码时要加参数’ignore’,否则网页中可能会有混合编码导致程序出错。

[求助] python 如何爬取 网页上调用JS函数打开的视频链接

selenium + phantomjs 模拟点击按钮，或者另写代码实现js函数openVideo()；

顺着第一步再去解析新页面，看看能否找到视频的原始地址；

假设视频的原始地址第二步找到了，在通过视频的原始地址下载视频就OK啦。