117笔记问答在使用Python的XPath爬虫处理相对路径时，可以采用以下技巧：
- 使用
lxml库：lxml库提供了强大的XPath支持，可以方便地解析和操作HTML文档。在处理相对路径时，可以使用urljoin()函数将相对路径转换为绝对路径。
from lxml import etree from urllib.parse import urljoin base_url = 'https://example.com' html = '''Example Resource ''' tree = etree.HTML(html) relative_path = '/path/to/resource' absolute_path = urljoin(base_url, relative_path) element = tree.xpath(f'//a/@href')[0] print(absolute_path) # 输出: https://example.com/path/to/resource
- 使用
requests库获取网页内容：在爬取网页时，可以使用requests库获取网页内容，然后使用lxml库解析HTML文档。这样可以确保相对路径是基于正确的URL。
import requests
from lxml import etree
from urllib.parse import urljoin
base_url = 'https://example.com'
url = f'{base_url}/path/to/page'
response = requests.get(url)
html = response.text
tree = etree.HTML(html)
relative_path = './path/to/resource'
absolute_path = urljoin(base_url, relative_path)
element = tree.xpath(f'//a/@href')[0]
print(absolute_path) # 输出: https://example.com/path/to/page/path/to/resource
- 使用
os.path库处理文件路径：在处理本地文件时，可以使用os.path库处理文件路径。例如，将相对路径转换为绝对路径。
import os
from lxml import etree
from urllib.parse import urljoin
base_path = '/path/to/website'
file_name = 'page.html'
relative_path = 'path/to/page.html'
absolute_path = os.path.join(base_path, relative_path)
with open(absolute_path, 'r') as file:
html = file.read()
tree = etree.HTML(html)
relative_path = './path/to/resource'
absolute_path = urljoin(base_url, relative_path)
element = tree.xpath(f'//a/@href')[0]
print(absolute_path) # 输出: /path/to/website/path/to/page/path/to/resource
- 使用XPath的
..和.表示相对路径：在XPath表达式中，可以使用..表示上一级目录，使用.表示当前目录。这可以帮助你在处理相对路径时更加灵活。
from lxml import etree html = '''Example ''' tree = etree.HTML(html) element = tree.xpath('//a/@href')[0] print(element) # 输出: ../path/to/resource
通过这些技巧，你可以更有效地处理Python XPath爬虫中的相对路径。