python3 爬虫如何处理代理IP

在Python3中，处理代理IP的方法有很多种。这里，我将向您展示如何使用requests库和random库来实现一个简单的代理IP池。

首先，您需要安装requests库（如果尚未安装）：

pip install requests

接下来，创建一个包含多个代理IP的列表。这些代理IP可以从免费或付费的代理服务提供商处获取。

proxies_list = [
    {'http': 'http://proxy1.example.com:8080'},
    {'http': 'http://proxy2.example.com:8080'},
    {'http': 'http://proxy3.example.com:8080'},
    # ... 更多代理IP
]

现在，我们可以使用random.choice()函数从代理列表中随机选择一个代理IP，并将其用于请求。

import requests
import random

def get_proxy():
    return random.choice(proxies_list)

def fetch_url(url):
    proxy = get_proxy()
    try:
        response = requests.get(url, proxies=proxy, timeout=5)
        response.raise_for_status()
        return response.text
    except requests.exceptions.RequestException as e:
        print(f"Error while fetching {url}: {e}")
        return None

url = "https://www.example.com"
content = fetch_url(url)
if content:
    print(content)
else:
    print("Failed to fetch content")

在这个示例中，我们定义了一个get_proxy()函数，它从proxies_list中随机选择一个代理IP。然后，我们定义了一个fetch_url()函数，它使用选定的代理IP发送请求。如果请求成功，它将返回响应内容；否则，它将返回None。

请注意，这个示例仅用于演示目的。在实际应用中，您可能需要根据需求对代码进行调整，例如添加错误处理、设置请求头等。