关于分布式问题

来源：10-7 scrapy-redis源码剖析- pipelines.py、 queue.py-

xmzls

2017-08-20

老师，请问使用多台机器（不在一个IP）进行分布式爬取，redis的连接是哪里配置？是这里吗和settings这个有什么区别？

我记得我在Windows下的redis是没有用户名和密码的，那这里的用户名和密码怎么弄呢？

写回答

2回答

xmzls

提问者

2017-08-22

老师请看这个错误

//szimg.mukewang.com/599bf95d0001f33009710348.jpg

bobby

xmzls

我估计这是redis的bug，你可以试试重启redis 或者将密码设置到配置文件中然后重启redis试试

2017-08-23

共3条回复

bobby

2017-08-21

URL 的格式为:

redis://:password@hostname:port/db_number

目前redis还不支持用户名直接配置密码即可

xmzls

老师，按照你的格式，配置了，前面jobbole:start_urls输入的时候，可以运行，但是爬虫跑着就出现这个错误了。错误截图情况我在这个问题下，添加的回答。麻烦看一下

2017-08-22

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 2

回答 2

回答 1

回答 3

回答 1