老师关于分布式爬虫部署还是不太明白

来源：10-3 redis基础知识 - 2

asdhjhg

2017-07-24

老师我想在两台电脑或是N台电脑同时运行同一个spider，都在redis数据库中拿url，这样速度不是就超级快嘛，但是具体怎么样部署才行啊？不会，懵逼啊

写回答

1回答

bobby

2017-07-25

对就是这么简单啊，部署就更简单了，把代码拷贝到多台服务器上直接运行就行了啊，但是这里面每台服务器上的代码都需要配置同一个redis服务器就行了。 so easy啊

bobby

asdhjhg

你加我的qq吧我给你看看 442421039

2017-07-26

共3条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 2