python requests爬虫如何处理User-Agent

在使用Python的requests库进行爬虫时，可以通过设置User-Agent来模拟不同的浏览器访问网站。User-Agent是HTTP请求头中的一个字段，用于表示客户端（浏览器）的类型、版本等信息。大多数网站会检查User-Agent以识别和阻止爬虫访问。

要在requests中设置User-Agent，可以在headers参数中添加一个字典，将User-Agent字符串作为键值对。以下是一个示例：

import requests

url = 'https://example.com'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

response = requests.get(url, headers=headers)

print(response.text)

在这个示例中，我们设置了一个常见的Chrome浏览器User-Agent。你可以根据需要替换为其他浏览器的User-Agent字符串。这样，网站可能会认为这是一个正常的浏览器访问，而不是爬虫。

请注意，有些网站可能会检查User-Agent以外的其他特征，如IP地址、访问速度等，来识别爬虫。在这种情况下，可能需要采取其他措施来规避这些限制，例如使用代理IP、设置访问间隔等。