在Python中,要激活代理IP爬虫,您需要首先安装一个名为requests
的库(如果尚未安装),然后使用该库设置代理服务器。以下是一个简单的示例,说明如何使用代理IP爬虫:
- 首先,安装
requests
库(如果尚未安装):
pip install requests
- 然后,编写一个使用代理服务器的Python脚本:
import requests # 代理服务器列表 proxies = [ {'http': 'http://proxy1.example.com:8080'}, {'http': 'http://proxy2.example.com:8080'}, {'http': 'http://proxy3.example.com:8080'} ] # 要爬取的URL url = 'https://www.example.com' # 使用代理服务器发送请求 response = requests.get(url, proxies=proxies) # 打印响应内容 print(response.text)
在这个示例中,我们定义了一个名为proxies
的列表,其中包含三个代理服务器的URL。然后,我们使用requests.get()
函数发送一个GET请求,并将proxies
参数设置为代理服务器列表。这将使请求通过其中一个代理服务器发送。
请注意,您需要将proxy1.example.com
、proxy2.example.com
和proxy3.example.com
替换为您自己的代理服务器地址。同样,您可以根据需要更改端口号(在本例中为8080)。
此外,您还可以使用其他HTTP方法(如POST
、PUT
等)以及设置其他请求头。只需将requests.get()
替换为相应的方法,并根据需要传递其他参数即可。