requests爬虫如何处理文件下载

在使用Python的requests库进行网页爬取时，有时需要下载文件。以下是一个简单的示例，说明如何使用requests库下载文件：

首先，确保已经安装了requests库。如果没有安装，可以使用以下命令安装：

pip install requests

接下来，编写一个简单的Python脚本来下载文件：

import requests

def download_file(url, file_path):
    response = requests.get(url, stream=True)

    if response.status_code == 200:
        with open(file_path, 'wb') as file:
            for chunk in response.iter_content(chunk_size=8192):
                file.write(chunk)
        print(f"文件已成功下载到 {file_path}")
    else:
        print(f"下载失败，状态码：{response.status_code}")

# 使用示例
url = "https://example.com/path/to/your/file.txt"
file_path = "local_file.txt"
download_file(url, file_path)

在这个示例中，我们定义了一个名为download_file的函数，该函数接受两个参数：文件的URL（url）和要将文件保存到本地的路径（file_path）。

我们使用requests.get()函数获取文件内容，并将stream参数设置为True以便分块下载。然后，我们检查响应的状态码是否为200（表示请求成功）。如果是，我们以二进制写入模式打开本地文件，并使用response.iter_content()函数分块写入文件内容。最后，我们关闭文件并打印下载成功的消息。

在使用示例中，我们提供了文件的URL和要将文件保存到本地的路径，然后调用download_file()函数来下载文件。