scrapy整合了selenium,如果scrapy的request用了代理，这里的selenium也会用代理吗?

来源：9-1 selenium动态网页请求与模拟登录知乎

慕码人5016746

2017-11-05

1 scrapy整合了selenium,如果scrapy的request用了代理，这里的selenium也会用代理吗?

2 同时，如果scrapy的request的useragent改变了，selenium也会跟着改变吗？

3 如果是用的那种服务器的代理，比如通过设置Authorization 给服务器，服务器自动给你分配一个代理。这种方式如何写呢?同时selenium也可以一起使用吗?

写回答

1回答

bobby

2017-11-06

已采纳

首先 scrapy和request和selenium不能共用代理需要单独设置
scrapy的erquest中的useragent变了， selenium也不会有任何影响
selenium的用户名密码认证你可以看看这个 https://stackoverflow.com/questions/24304752/how-to-handle-authentication-popup-with-selenium-webdriver-using-java

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 2

回答 1

回答 1

回答 1

回答 1