是的,Python 网页爬虫可以抓取 HTTPS 网站。在 Python 中,你可以使用许多库来抓取 HTTPS 网站,其中最常用的是 Requests 和 urllib 库。这两个库都可以处理 HTTPS 请求,使得爬虫能够访问和抓取 HTTPS 网站的内容。
例如,使用 Requests 库抓取 HTTPS 网站的简单示例代码如下:
import requests url = 'https://www.example.com' response = requests.get(url) if response.status_code == 200: print(response.text) else: print('Error:', response.status_code)
这段代码首先导入 Requests 库,然后定义要抓取的 HTTPS 网站 URL。接着,使用 requests.get()
函数发起 GET 请求,并将返回的响应对象存储在变量 response
中。最后,检查响应的状态码是否为 200(表示请求成功),如果是,则打印响应的文本内容;否则,打印错误状态码。