如何在requests中实现多线程抓取

在Python的requests库中，可以使用concurrent.futures模块中的ThreadPoolExecutor来实现多线程抓取。以下是一个简单的示例：

import requests
from concurrent.futures import ThreadPoolExecutor

def fetch(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    else:
        return None

urls = [
    'https://www.example.com',
    'https://www.example2.com',
    'https://www.example3.com',
    # 更多URL...
]

# 使用线程池来执行抓取任务
with ThreadPoolExecutor(max_workers=5) as executor:
    results = list(executor.map(fetch, urls))

# 处理结果
for result in results:
    if result:
        print("成功获取到内容：", result[:100])  # 打印前100个字符
    else:
        print("获取失败或内容为空")

在这个示例中，我们首先定义了一个fetch函数，用于发送HTTP请求并返回响应内容。然后，我们创建了一个urls列表，其中包含要抓取的URL。接下来，我们使用ThreadPoolExecutor创建一个线程池，并设置最大工作线程数为5。最后，我们使用executor.map()方法将fetch函数应用到urls列表中的每个URL，并将结果存储在results列表中。最后，我们遍历results列表并处理每个结果。