请问源代码有实现scrapy-redis对招聘网站进行分布式爬虫吗

来源：7-2 CrawlSpider源码分析-新建CrawlSpider与settings配置

慕仰7968168

2020-03-14

这里是引用文字

写回答

1回答

bobby

2020-03-15

scrapy-redis本身就是分布式爬虫你只需要配置指向同一个redis，再多个服务器上启动就可以了

bobby

慕仰7968168

这个课程还没有修改。你直接使用cnblogs来学习就行了。这个地方的代码我主要讲解源码对jobbole的抓取的演示实际上并不多

2020-03-28

共4条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 3

回答 1

回答 1

回答 1