在Python中,可以使用concurrent.futures
模块进行并发编程。这个模块提供了两种主要的方法来实现并发:ThreadPoolExecutor
和ProcessPoolExecutor
。它们分别使用线程和进程来实现并发执行。
下面是使用ThreadPoolExecutor
进行并发编程的示例:
import concurrent.futures import requests def fetch_url(url): response = requests.get(url) return response.text urls = [ 'https://www.example.com', 'https://www.google.com', 'https://www.github.com', # 更多URL... ] # 使用线程池执行并发请求 with concurrent.futures.ThreadPoolExecutor() as executor: results = list(executor.map(fetch_url, urls)) print(results)
在这个示例中,我们首先导入concurrent.futures
和requests
模块。然后定义一个fetch_url
函数,用于发送HTTP请求并返回响应内容。接下来,我们创建一个URL列表,并使用ThreadPoolExecutor
来执行并发请求。最后,我们将结果打印出来。
ProcessPoolExecutor
的使用方式与ThreadPoolExecutor
类似,但它使用进程而不是线程来实现并发执行。这在处理CPU密集型任务时非常有用,因为Python的全局解释器锁(GIL)会阻止多线程并行执行CPU密集型任务。在这种情况下,使用进程可以充分利用多核CPU的性能。
这里是一个使用ProcessPoolExecutor
的示例:
import concurrent.futures import requests def fetch_url(url): response = requests.get(url) return response.text urls = [ 'https://www.example.com', 'https://www.google.com', 'https://www.github.com', # 更多URL... ] # 使用进程池执行并发请求 with concurrent.futures.ProcessPoolExecutor() as executor: results = list(executor.map(fetch_url, urls)) print(results)
在这个示例中,我们只需将ThreadPoolExecutor
替换为ProcessPoolExecutor
即可。其他代码保持不变。