scrpay-rdies ,每次取redis去任务是取16个，这个是在哪里做修改，让他每次取一个任务url

来源：10-4 scrapy-redis编写分布式爬虫代码

慕工程0405147

2021-04-29

写回答

1回答

bobby

2021-04-29

我不太懂你的意思，原本是一次取一个url，你现在想要一次性取16个url出来？

bobby

慕工程0405147

是的， scrapy也会有默认的并发请求设置

2021-05-03

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 2

回答 1

回答 1

回答 1

回答 2