python代理ip爬虫如何使用

要使用Python代理IP爬虫，您需要首先安装requests和requests-proxy库。您可以使用以下命令安装：

pip install requests requests-proxy

接下来，您需要获取一个代理IP列表。您可以从免费或付费的代理IP提供商处获取这些信息。将代理IP列表保存到一个文件中，每行一个代理IP。

现在，您可以编写一个简单的Python脚本来使用代理IP爬虫。以下是一个示例脚本：

import requests
from requests_proxy import ProxyMiddleware

# 读取代理IP列表
with open('proxies.txt', 'r') as f:
    proxies = [line.strip() for line in f.readlines()]

# 设置代理中间件
proxies_middleware = ProxyMiddleware(scheme='http', proxies=proxies)

# 创建一个requests会话，并使用代理中间件
session = requests.Session()
session.mount('http://', proxies_middleware)
session.mount('https://', proxies_middleware)

# 定义要爬取的URL
url = 'https://example.com'

# 使用代理IP发送请求
response = session.get(url)

# 处理响应
if response.status_code == 200:
    print(response.text)
else:
    print(f'Error: {response.status_code}')

在这个示例中，我们首先从文件中读取代理IP列表，然后创建一个requests会话，并将代理中间件添加到会话中。接下来，我们定义要爬取的URL，并使用代理IP发送请求。最后，我们处理响应并打印结果。

请注意，这个示例仅适用于HTTP代理。如果您需要使用SOCKS代理，请将scheme='http'更改为scheme='socks'。