python爬虫urllib如何设置请求头

在Python的urllib库中，你可以使用urllib.request.Request对象来设置请求头。以下是一个简单的示例：

import urllib.request
import urllib.error

url = "https://www.example.com"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "Accept-Language": "en-US,en;q=0.5",
}

req = urllib.request.Request(url, headers=headers)

try:
    response = urllib.request.urlopen(req)
    html = response.read()
    print(html)
except urllib.error.URLError as e:
    print(e.reason)

在这个示例中，我们首先导入了urllib.request和urllib.error模块。然后，我们定义了要爬取的URL和请求头。请求头是一个字典，其中包含了我们想要设置的各种HTTP头部信息。

接下来，我们使用urllib.request.Request对象创建了一个请求，并将URL和请求头作为参数传递给它。最后，我们使用urllib.request.urlopen()函数打开请求并读取响应内容。如果请求成功，我们将打印出响应的HTML内容。如果发生错误，我们将捕获URLError异常并打印出错误原因。