常见Python爬虫使用代理IP的方法是什么

这篇文章主要介绍“常见Python爬虫使用代理IP的方法是什么”的相关知识，小编通过实际案例向大家展示操作过程，操作方法简单快捷，实用性强，希望这篇“常见Python爬虫使用代理IP的方法是什么”文章能帮助大家解决问题。

网站建设哪家好，找成都创新互联公司！专注于网页设计、网站建设、微信开发、微信平台小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了梧州免费建站欢迎大家使用！

一、urllib代理设置

from urllib.error import URLError

from urllib.request import ProxyHandler,build_opener

proxy='123.58.10.36:8080' #使用本地代理

#proxy='username:password@123.58.10.36:8080' #购买代理

proxy_handler=ProxyHandler({

'http':'http://'+proxy,

'https':'https://'+proxy

})

opener=build_opener(proxy_handler)

try:

response=opener.open('http://httpbin.org/get') #测试ip的网址

print(response.read().decode('utf-8'))

except URLError as e:

print(e.reason)

二、requests代理设置

import requests

proxy='123.58.10.36:8080' #本地代理

#proxy='username:password@123.58.10.36:8080'

proxies={

'http':'http://'+proxy,

'https':'https://'+proxy

}

try:

response=requests.get('http://httpbin.org/get',proxies=proxies)

print(response.text)

except requests.exceptions.ConnectionError as e:

print('错误:',e.args)

三、Selenium代理设置

from selenium import webdriver

proxy='123.58.10.36:8080'

chrome_options=webdriver.ChromeOptions()

chrome_options.add_argument('--proxy-server=http://'+proxy)

browser=webdriver.Chrome(chrome_options=chrome_options)

browser.get('http://httpbin.org/get')

关于“常见Python爬虫使用代理IP的方法是什么”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识，可以关注创新互联行业资讯频道，小编每天都会为大家更新不同的知识点。