redis里互相调度的话他怎么知道哪个request需要发给哪个函数呢

来源：10-4 scrapy-redis编写分布式爬虫代码

慕斯卡6029232

2020-05-29

redis里调度request的话他怎么知道哪个request需要发给哪个函数呢，看的有点懵逼。

是不是如果有多个爬虫同时运行，爬虫的request是不是会有可能发送到另一个爬虫那去。
我想的是所有的request在redis里都是乱序的，当一个爬虫空闲的时候就会请求，redis会根据callback函数把request发到对应的函数里去。

写回答

2回答

bobby

2020-06-01

不可能的，里面有callback的下载完成后会调用你设置的callback，如果你没有设置callback会默认使用当前的spider的callback的，不可能进入其他spider的callback

慕斯卡6029232

提问者

2020-05-29

//img.mukewang.com/szimg/5ed100e709daf65606290117.jpg

修改redis ip之后为什么本机也连不上redis了

//img.mukewang.com/szimg/5ed10106090eaa8002730086.jpg 一直卡在这里

bobby

如果修改了ip地址那么redis-cli连接的时候就需要设置host了 redis-cli -h 192.x.x.x

2020-06-01

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 2