117笔记问答BeautifulSoup 是一个 Python 库，用于解析 HTML 和 XML 文档。要使用 BeautifulSoup 进行网页爬取，你需要先安装它，然后使用它来解析 HTML 页面并提取所需的信息。以下是一个简单的示例，展示了如何使用 BeautifulSoup 和 Requests 库编写一个基本的爬虫：
- 首先，确保你已经安装了 BeautifulSoup 和 Requests 库。如果没有，请使用以下命令安装：
pip install beautifulsoup4 pip install requests
- 创建一个名为
web_scraper.py的 Python 文件，并在其中编写以下代码：
import requests
from bs4 import BeautifulSoup
def get_html(url):
try:
response = requests.get(url)
response.raise_for_status()
return response.text
except requests.exceptions.RequestException as e:
print(f"Error fetching URL: {e}")
return None
def parse_html(html):
soup = BeautifulSoup(html, "html.parser")
# 在这里，你可以根据需要提取页面中的元素
# 例如，提取所有的段落文本
paragraphs = soup.find_all("p")
for p in paragraphs:
print(p.get_text())
def main():
url = input("Enter the URL of the webpage you want to scrape: ")
html = get_html(url)
if html:
parse_html(html)
if __name__ == "__main__":
main()
在这个示例中，我们首先导入所需的库，然后定义了两个函数：get_html() 和 parse_html()。get_html() 函数接受一个 URL 作为参数，并使用 Requests 库获取该 URL 的 HTML 内容。如果请求成功，它将返回 HTML 内容；否则，它将返回 None。
parse_html() 函数接受一个 HTML 字符串作为参数，并使用 BeautifulSoup 解析它。在这个简单的示例中，我们提取了页面中的所有段落文本并打印出来。你可以根据需要修改这个函数，以提取你感兴趣的任何元素。
最后，我们在 main() 函数中获取用户输入的 URL，调用 get_html() 函数获取 HTML 内容，然后调用 parse_html() 函数解析并打印内容。
要运行这个爬虫，请在命令行中输入以下命令：
python web_scraper.py
然后按照提示输入要抓取的网页的 URL。