scheduler

来源：10-8 scrapy-redis源码分析- scheduler.py、spider.py-

慕勒7219338

2019-01-17

图片描述
老师我在scrapy_redis的项目里给scrapy配置了setting：SCHEDULER = “scrapy_redis.scheduler.Scheduler” 但是我运行的时候就会阻塞是为什么，如果我注释了这句话就能正常运行，但是就不是分布式了
就是图片这样然后一直不往下运行
然后再补问一个问题，为什么显示监听的端口跟我设置的不一样，我设置的是6379，他显示监听的是6023 但是实际监听的还是6379

写回答

1回答

bobby

2019-01-19

6023 是scrapy监控的telnet端口，不是监听的6379端口，6379是redis服务监听的端口，scrapy-redis不会去监听只会去连接， //img.mukewang.com/szimg/5c429f630001803407280196.jpg 这个是next_request是从queue队列中获取数据，这个是阻塞方法，但是这个阻塞方法是合理的，因为这里是从redis中获取数据，redis获取数据很快，如果redis中没有数据了这里阻塞住也是没有问题的。