请教老师一个问题

来源：17-1 课程总结

weixin_慕无忌4471830

2020-04-14

请问老师，我已经成功搭建起搜索引擎，但还是有许多地方不是很明白，我想问一下我们构建的搜索引擎所用到的数据是分布式爬虫爬取的吗，分布式爬虫与搜索引引擎之间的联系是怎样的

写回答

1回答

bobby

2020-04-14

已采纳

搜索引擎网站的逻辑和分布式爬虫是两个服务，也是分离的，爬虫停止了不应该影响网站的搜索，无非就是无法搜索最新的数据而已，两个服务通过es交互，也就是是爬虫将数据入库到es中，django系统从es中进行数据的检索

bobby

weixin_慕无忌4471830

是的分布式爬虫使用scrapy-redis 不要直接使用官方的scrapy

2020-04-15

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 2