这是一个简单的Python爬虫代码示例,使用了requests
和BeautifulSoup
库来从网站上抓取数据:
首先,确保已经安装了所需的库。如果没有安装,可以使用以下命令安装:
pip install requests pip install beautifulsoup4
然后,创建一个名为simple_crawler.py
的文件,并将以下代码粘贴到文件中:
import requests from bs4 import BeautifulSoup def get_page(url): try: response = requests.get(url) response.raise_for_status() return response.text except requests.exceptions.RequestException as e: print(f"Error fetching {url}: {e}") return None def parse_page(html): soup = BeautifulSoup(html, "html.parser") titles = soup.find_all("h2") # 根据网页结构选择合适的标签 for title in titles: print(title.get_text()) def main(): url = "https://example.com" # 替换为你想抓取的网站URL html = get_page(url) if html: parse_page(html) if __name__ == "__main__": main()
在这个示例中,我们定义了三个函数:
get_page(url)
:发送HTTP请求并获取网页内容。parse_page(html)
:使用BeautifulSoup解析HTML内容,并提取所需的信息(在这个例子中是标签的文本内容)。
main()
:主函数,用于调用上述两个函数并执行爬虫。
请注意,这个示例仅适用于具有特定HTML结构的网站。你需要根据你要抓取的网站的实际HTML结构来修改parse_page
函数中的代码。