爬取动态网页，Chrome不用设置代理吗？

来源：9-4 selenium集成到scrapy中

TT2_X

2018-06-07

在middleware中只有scrapy自带的request设置了代理，而用webdriver的时候是直接去取request里面的url，这和没有设置代理有什么区别

写回答

2回答

bobby

2018-06-11

TT2_X

提问者

2018-06-07

老师为什么webdriver chrome 访问一个特定的网站会timeout,我在chrome中可以访问，webdriver设置了set_page_load_timeout为5秒，implicitly_wait为10秒

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5825 学习 · 6292 问题

相似问题

回答 1

回答 2

回答 1

回答 3

回答 1