User-Agent 就是用户代理,又叫报头,是一串字符串,相当于浏览器的身份证号,我们在利用python发送请求的时候,默认为: python-requests/2.22.0,所以我们在利用爬虫爬取网站数据时,频繁更换它可以避免触发相应的反爬机制。为了解决这个问题,我们引入了fake-useragent,fake-useragent对频繁更换User-Agent提供了很好的支持,可谓防反扒利器。下面我们就介绍fake-useragent。
安装

pip install fake-useragent

使用

from fake_useragent import UserAgent
headers= {'User-Agent':str(UserAgent().random)}
r = requests.get(url, proxies=proxies, headers=headers, timeout=10)

fake-useragent Maximum amount of retries reached 错误的解决方法

添加参数verify_ssl=False也就是:UserAgent(verify_ssl=False).random

Last modification:December 17, 2020
If you think my article is useful to you, please feel free to appreciate