爬取动态网页，Chrome不用设置代理吗？

来源：9-4 selenium集成到scrapy中

TT2_X

2018-06-07

在middleware中只有scrapy自带的request设置了代理，而用webdriver的时候是直接去取request里面的url，这和没有设置代理有什么区别

写回答

1回答

bobby

2018-06-11

bobby

TT2_X

课程中我讲解了源码，你看看redis是如何生成指纹的，这里面加入自己的逻辑可以让包含不同设置的相同url可以生成不同的指纹就可以了

2018-06-19

共5条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5825 学习 · 6292 问题

相似问题

回答 2

回答 2

回答 1

回答 3

回答 1