在同一个Spider中，可以设置选用不同的中间件么？

来源：9-4 selenium集成到scrapy中

keeping18

2023-02-09

就是在通过列表页获取详情页的url时直接访问真实API接口获取（这个直接交给下载器），然后抓取详情页内容就采用selenium模拟浏览器获取（通过设置中间件发起selenium请求）。

写回答

1回答

bobby

2023-02-13

custom_settings中可以为不同的spider设置不同的设置，包括middleware。这个值在课程中讲解过

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5813 学习 · 6291 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1