scrapy-redis如何将redis的items统一写入一个mysql

来源：10-4 scrapy-redis编写分布式爬虫代码

慕先生0421411

2017-06-07

scrapy-redis如何将redis的items统一写入mysql

写回答

1回答

bobby

2017-06-08

直接启动一个python进程不停的从redis中读取item然后写入到mysql即可

bobby

烈焰卡卡

第一反序列化的问题建议你看一下scrapy-redis的源码看看序列化是如何做的然后你就知道反序列化了，第二个问题你可以调用redis的阻塞方法知道有数据为止就行了

2018-06-01

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1