redis监听的时候有问题

来源：10-4 scrapy-redis编写分布式爬虫代码

WittChen

2020-02-09

图片描述

我要一直输入lpush cnblogs:start_urls https://www.cnblogs.com/ 才会动一下，关键是没有yield 出item 好像只能请求成功https://www.cnblogs.com/

写回答

1回答

bobby

2020-02-10

已采纳

是不是你之前的url抓取过导致这些url已经录入到redis中后面的所有的url都会被过滤掉？有没有调试过在debug的时候有没有进入parse逻辑？

bobby

WittChen

好的，

2020-02-11

共6条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5808 学习 · 6290 问题

相似问题

scheduler

回答 1

回答 2

回答 1

回答 3

回答 1