要用Python编写一个简单的爬虫,你可以使用requests库来获取网页内容,然后使用BeautifulSoup库来解析HTML并提取所需信息。以下是一个简单的示例:
- 首先,确保已经安装了requests和beautifulsoup4库。如果没有安装,可以使用以下命令安装:
pip install requests beautifulsoup4
- 创建一个名为
simple_crawler.py
的文件,并在其中编写以下代码:
import requests from bs4 import BeautifulSoup def get_page(url): try: response = requests.get(url) response.raise_for_status() return response.text except requests.exceptions.RequestException as e: print(f"Error fetching {url}: {e}") return None def parse_page(html): soup = BeautifulSoup(html, "html.parser") # 提取页面中的所有链接 links = soup.find_all("a") for link in links: href = https://www.yisu.com/ask/link.get("href") if href and href.startswith("http"): print(href) def main(): url = input("Enter the URL of the webpage you want to crawl: ") html = get_page(url) if html: parse_page(html) if __name__ == "__main__": main()
- 运行这个脚本,输入你想要抓取的网页URL,然后按回车键。脚本将输出该网页上的所有HTTP链接。
注意:这个示例仅适用于简单的网页抓取。实际应用中,你可能需要根据具体需求对爬虫进行更复杂的定制,例如处理相对URL、限制爬取深度、避免重复访问等。此外,对于大型网站,你可能还需要考虑使用异步请求库(如aiohttp)来提高抓取速度。