Scrapy如何处理相对路径和绝对路径

在Scrapy中处理相对路径和绝对路径可以通过在提取数据时使用相应的方法来实现。

对于相对路径，可以使用response.urljoin()方法来将相对路径转换为绝对路径。例如：

from scrapy.http import HtmlResponse

response = HtmlResponse(url='http://example.com/page1', body=b'Page 2')
relative_url = response.css('a::attr(href)').extract_first()
absolute_url = response.urljoin(relative_url)

print(absolute_url)
# Output: http://example.com/page2

这样可以确保提取到的链接始终是绝对路径。

另外，如果要在Spider中处理相对路径和绝对路径，也可以直接使用response.urljoin()方法。例如：

from scrapy.spiders import Spider

class MySpider(Spider):
    name = 'my_spider'
    start_urls = ['http://example.com/page1']

    def parse(self, response):
        relative_url = response.css('a::attr(href)').extract_first()
        absolute_url = response.urljoin(relative_url)

        yield {
            'url': absolute_url
        }

这样可以在Spider中直接处理相对路径和绝对路径。