scrapy获取redis任务队列中的任务问题

来源：10-1 分布式爬虫要点

慕田峪4128333

2018-12-17

老师我在企业中进行redis分布式爬虫的时候在取redis中取任务的时候特别满是什么原因啊越到后边越慢

写回答

1回答

bobby

2018-12-18

你是说redis的队列数据越来越大吗？越来越慢是下载慢还是从redis中获取数据慢呢？

bobby

慕田峪4128333

redis是内存数据库，不会越来越慢的你可以在redis从队列中取数据的前后加上时间点打印一下获取的时间看看是不是redis慢

2018-12-20

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 2