为什么scrapy使用随机请求头这么麻烦

来源：8-5 通过downloadmiddleware随机更换user-agent - 2

weixin_慕标2352120

2021-05-29

为什么scrapy使用随机请求头这么麻烦
有没有类型像

from fake_useragent import UserAgent

ua = UserAgent()

ua.random

这样简单的方法的

写回答

1回答

荼灬

2021-05-30

scrapy使用随机的User_Agent 一共分为两步，第一步是获取ua，第二步是将获取到的ua配置到自己的scrapy中。

你说的类型像如下代码，

from fake_useragent import UserAgent

ua = UserAgent()

ua.random

老师课程中不就是这样获取的ua吗？你说的比较复杂应该是指将获取到的ua配置到爬虫中去吧，实际上课程中是教你怎么配置不同的UA，如果你觉得随机的就可以，你只需要在downloadmiddleware中设置

request.headers.setdefault('User-Agent', user_agent)

应该就可以了

bobby

正解，我也觉得并不复杂啊

2021-06-01

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 1