scrapy chromedriver 异步处理

来源：9-3 chromedriver不加载图片、phantomjs获取动态网页

笑看风云号

2017-06-28

scrapy chromedriver 异步处理不知道有没有参考代码呢？百度了一下，没找到，不知道老师有没有修改源码的参考代码呢？谢谢

写回答

1回答

bobby

2017-06-30

亲如果需要将scrapy中的chromedriver 像request一样实现无安全的异步化，一般都不会去实现真正的异步化，如果你真的需要实现异步化需要自己去修改一下scrapy源码的downloader部分，我这里没有修改过download

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 2

回答 1

回答 1