117笔记问答Scrapy 是一个用于网络爬虫的开源 Python 框架。在 Scrapy 中，调度器（Scheduler）负责存储和管理待爬取的 URL，并在适当的时候将它们分发给下载器（Downloader）进行处理。要配置 Scrapy 爬虫的调度器，你需要在 Scrapy 项目的 settings.py 文件中进行设置。
以下是一些与调度器相关的 Scrapy 设置：
SCHEDULER: 定义调度器的类名。Scrapy 默认使用scrapy.scheduler.Scheduler类。如果你想要使用不同的调度器，可以在这里设置。
SCHEDULER = "myproject.schedulers.CustomScheduler"
DOWNLOAD_DELAY: 设置下载延迟，即每个请求之间的最小时间间隔。这有助于减轻目标服务器的负担。默认值为 0，表示没有延迟。
DOWNLOAD_DELAY = 3
CONCURRENCY_LEVEL: 设置并发请求的数量。这决定了同时运行的下载器数量。默认值为 16。
CONCURRENCY_LEVEL = 32
HTTPCACHE_STORAGE: 设置 HTTP 缓存存储后端。默认情况下，Scrapy 使用内存存储。你可以将其更改为其他存储后端，如文件系统或 Redis。
HTTPCACHE_STORAGE = "scrapy.extensions.httpcache.FilesystemCacheStorage"
HTTPCACHE_POLICY: 设置 HTTP 缓存策略。可选值有all,lru,fresh,none等。默认值为all，表示缓存所有响应。
HTTPCACHE_POLICY = "fresh"
FEED_EXPORT_ENCODING: 设置导出爬取数据的编码。默认值为utf-8。
FEED_EXPORT_ENCODING = "utf-8"
这些设置只是调度器配置的一部分。你可以根据项目需求对这些设置进行调整。在修改 settings.py 文件后，需要重新启动 Scrapy 服务以使更改生效。