要获取网页信息,可以使用Python的requests库来发送HTTP请求,然后使用BeautifulSoup库来解析网页内容。
下面是一个简单的示例代码:
import requests from bs4 import BeautifulSoup url = 'http://example.com' # 要获取信息的网页地址 # 发送GET请求获取网页内容 response = requests.get(url) # 使用BeautifulSoup解析网页内容 soup = BeautifulSoup(response.text, 'html.parser') # 获取网页标题 title = soup.title.string print('网页标题:', title) # 获取所有的链接 links = soup.find_all('a') for link in links: print('链接:', link.get('href')) # 获取指定元素的内容 element = soup.find('div', class_='content') print('内容:', element.text.strip())
需要安装requests库和BeautifulSoup库,可以使用pip来安装:
pip install requests pip install beautifulsoup4
上述代码中,使用requests库发送GET请求获取网页内容,然后使用BeautifulSoup解析网页内容。可以根据需要使用BeautifulSoup的各种功能来提取所需的信息。