老师,在分布式redis爬虫中,item到了redis中,那我怎么存入自己数据库mysql
来源：10-4 scrapy-redis编写分布式爬虫代码
慕的地7986880
2017-07-10
ITEM_PIPELINES = {
'scrapy_redis.pipelines.RedisPipeline': 1,
'ArticleSpider.pipelines.MongoPipeline': 2, # 我要把item存入Mongo中,老师看这样的顺序对吗?
}我要把item存入数据库,怎么从redis中获得item啊,老师说一个思路把,我自己也在实验中
写回答
1回答
-
bobby
2017-07-11
item保存到内容中也是出于分布式的考虑， 你如果想使用这个功能可以直接再自己写一个进程就是不停的从redis中读取item然后保存到mysql中去了， 这里的进程你可以使用twisted或者gevent等框架去提高入库的并发性， 因为考虑到所有的scrapy实例都可以连接到同一台服务器的mysql中， 实际上也完成的是分布式数据库保存 课程中我就没有讲解这个内容
012017-07-11
相似问题