关于随机更换的user-agent和浏览器返回的headers中的user-agent 的问题

来源:8-5 通过downloadmiddleware随机更换user-agent - 2

慕少7338747

2020-03-25

老师您好,我想问一下,在middlware.py中写的RandomUserAgentMiddlware用fake_useragent随机取得的user-angent,然后再此配置下用selenium去模拟登陆知乎后F12出来查看到的user-angent应该会一样吗? 我在调试过程中发现这两者是不一样的,是我在理解上有什么错误吗? 还是我在配置过程中的错误呢? 又或者他们本身就是不一样的, 更换user-agent和更换ip一样,发送给服务器的时候会自动把本地的ip或者user-angent 先隐藏起来呢? 我在zhihu.py文件中已经把headrs注释掉了,也已经在settings中的
DOWNLOADER_MIDDLEWARES中把写的middlware配置上去了

这是用selenium模拟登陆后F12 得到的user-angent :
用selenium模拟登陆后F12 得到的user-angent

这是在pycharm调试中fake_useragent随机取得的user-angent:
图片描调试中fake_useragent随机取得的user-angent述

写回答

1回答

bobby

2020-03-26

随机切换user-agent对selenium不起作用,因为selenium是自己完成了request请求不会走downloader, middleware只能拦截到request,selenium模拟登录的过程中不会发起request的

0
2
bobby
回复
慕少7338747
好的,
2020-03-27
共2条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程