关于爬虫类型以及搜索引擎类型的问题

来源：2-2 mysql和navicat的安装和使用

慕盖茨1272226

2019-03-20

老师请问，我们学的这个爬虫，是分布式爬虫，那么他跟异步爬虫有什么关系呢。还有就是这个教程的搜索引擎，算是垂直搜索引擎呢，还是分布式搜索引擎。

写回答

1回答

bobby

2019-03-22

异步爬虫的目的是为了增加高并发，因为一台机器如果代码写的不好的话，并发还是不高的，所以异步是为了提到单机的并发，但是单机并发毕竟还是能力有限的，所以很多时候还是需要分布式爬虫，利用多台服务器的性能提高并发
教程中讲解的是elasticsearch，这个是搜索引擎技术，部分垂直和分布式的概念，本身elasticsearch是支持分布式的，垂直搜索引擎的概念是业务层的分类而已和技术无关

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 2

回答 1

回答 2

回答 2