117笔记问答- 导入相应的库：首先需要导入lxml库中的etree模块，用于解析网页内容。
from lxml import etree
- 创建解析对象：使用etree.HTML()函数将HTML文本转化为解析对象，并使用xpath()方法进行选择操作。
html = etree.HTML(html_text)
- 使用xpath选择器：传入xpath表达式作为参数，可以选择相应的节点或元素。
# 选择所有的a标签
links = html.xpath('//a')
# 选择class为title的div标签下的所有p标签
paragraphs = html.xpath('//div[@class="title"]/p')
# 选择第一个li标签下的所有span标签
spans = html.xpath('//li[1]//span')
- 获取节点内容：使用.text属性可以获取节点的文本内容，使用.get()方法可以获取节点的属性值。
for link in links:
print(link.text)
for paragraph in paragraphs:
print(paragraph.text)
for span in spans:
print(span.get('class'))
- 结合其他选择器：可以结合使用xpath选择器和正则表达式来进一步筛选元素。
# 选择class为title的div标签下的所有超链接，并且链接内容以http开头的
links = html.xpath('//div[@class="title"]/a[starts-with(@href, "http")]')
通过以上技巧，可以灵活地使用xpath选择器解析网页内容，从而进行数据抓取和分析。