117笔记问答Scrapy默认情况下会验证SSL证书，以确保请求的网站是安全的。如果你需要禁用SSL证书验证（不推荐，因为这会降低安全性），可以通过以下方法实现：
-
在你的Scrapy项目的
settings.py文件中，找到或添加DOWNLOADER_MIDDLEWARES设置。 -
添加一个自定义的中间件，用于禁用SSL证书验证。例如，你可以创建一个名为
disable_ssl_verification.py的文件，内容如下：
import ssl
from scrapy import signals
class DisableSslVerificationMiddleware(object):
def __init__(self):
self.ssl_context = ssl._create_unverified_context()
def process_request(self, request, spider):
request.meta['handle_httpstatus_list'] = [408, 500, 502, 503, 504]
request.meta['verify'] = False
request.meta['ssl_context'] = self.ssl_context
@classmethod
def from_crawler(cls, crawler):
middleware = cls()
crawler.signals.connect(middleware.spider_opened, signal=signals.spider_opened)
return middleware
def spider_opened(self, spider):
spider.logger.info('Spider opened: %s' % spider.name)
这个中间件会创建一个不验证SSL证书的上下文，并在处理请求时将其应用到请求中。
- 在
settings.py文件中，将自定义的中间件添加到DOWNLOADER_MIDDLEWARES列表中：
DOWNLOADER_MIDDLEWARES = {
'your_project_name.middlewares.disable_ssl_verification.DisableSslVerificationMiddleware': 560,
}
请将your_project_name替换为你的Scrapy项目的名称。
- 保存更改并重新启动你的Scrapy爬虫。现在，它将不再验证SSL证书。
请注意，禁用SSL证书验证可能会导致安全风险，因此请确保仅在测试环境中使用这种方法。在生产环境中，建议保持SSL证书验证启用。