redis分布式,老师没有演示,有点不懂,到底用几台机器?在window上运行python,还是到linux上运行python呢?

来源:10-8 scrapy-redis源码分析- scheduler.py、spider.py-

慕的地7986880

2017-07-06

redis分布式的架构,老师能给一个具体的说明吗?用什么系统?window还是linux?最后写成的python程序在哪里 运行?

写回答

1回答

bobby

2017-07-07

因为redis分布式非常简单了 我已经讲解了源码了 大家应该能懂了 部署在任何服务器都无所谓 只需要在任何服务器上启动爬虫就行了 但是多个爬虫要获取同一个redis的连接

0
2
bobby
回复
慕的地7986880
对 redis只有一个实例 scrapy-redis只需要在各个服务器上启动就行了 但是要注意 mysql数据库入库需要公用一个实例
2017-07-10
共2条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程