python协程爬虫怎么处理异常

在Python中，协程爬虫可以通过使用asyncio库和第三方库aiohttp来处理异常。以下是一个简单的示例，展示了如何在协程爬虫中处理异常：

首先，确保已经安装了aiohttp库：

pip install aiohttp

然后，创建一个名为coroutine_crawler.py的文件，并添加以下代码：

import asyncio
import aiohttp
from aiohttp import ClientError

async def fetch(url, session):
    try:
        async with session.get(url) as response:
            if response.status != 200:
                print(f"Error: {url} returned status {response.status}")
                return None
            return await response.text()
    except ClientError as e:
        print(f"Error: {url} - {e}")
        return None

async def main():
    urls = [
        "https://www.example.com",
        "https://www.example.org",
        "https://www.example.net",
    ]

    async with aiohttp.ClientSession() as session:
        tasks = [fetch(url, session) for url in urls]
        responses = await asyncio.gather(*tasks, return_exceptions=True)

        for url, response in zip(urls, responses):
            if isinstance(response, Exception):
                print(f"Error while processing {url}: {response}")
            else:
                print(f"Fetched content from {url}:")
                print(response[:100])  # Print the first 100 characters of the content

if __name__ == "__main__":
    asyncio.run(main())

在这个示例中，我们定义了一个名为fetch的异步函数，它接受一个URL和一个aiohttp.ClientSession对象。我们使用try-except语句来捕获可能的ClientError异常，并在发生异常时打印错误信息。

在main函数中，我们创建了一个aiohttp.ClientSession对象，并为给定的URL列表创建了多个fetch任务。然后，我们使用asyncio.gather函数并发执行这些任务，并设置return_exceptions=True以便在结果中包含异常。最后，我们遍历结果并检查每个响应是否为异常，如果是，则打印错误信息，否则打印响应内容的前100个字符。