要使用BeautifulSoup遍历DOM树,首先需要导入BeautifulSoup库和requests库。
from bs4 import BeautifulSoup import requests
然后,使用requests库发送一个HTTP请求获取网页内容,并将其传递给BeautifulSoup解析。
url = 'http://example.com' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser')
接下来,可以使用BeautifulSoup提供的方法来遍历DOM树。比如,可以使用find()方法查找指定的标签,使用find_all()方法查找所有符合条件的标签,使用children属性遍历子节点,使用descendants属性遍历所有子孙节点等。
# 查找所有标签 for link in soup.find_all('a'): print(link.get('href')) # 遍历子节点 for child in soup.body.children: print(child) # 遍历所有子孙节点 for descendant in soup.descendants: print(descendant)
通过以上方法,可以方便地遍历DOM树,并提取需要的信息。需要注意的是,BeautifulSoup提供了多种方法来遍历DOM树,可以根据具体需求选择合适的方法。