老师，一个爬虫工程师必须学习数据结构和算法吗？有没有相关爬虫的面试题？

来源：1-1 python分布式爬虫打造搜索引擎简介

慕丝4554142

2020-04-21

写回答

1回答

bobby

2020-04-22

爬虫相关的面试题一般包括：数据库，因为很多爬虫的数据量比较大，对数据库的要求比较高，比如数据库优化，还有一个更重要的是爬虫的反爬，比如字体反爬，比如ip代理，比如各种验证码识别，比如如何防止爬虫挂掉，服务的稳定性，比如如何确保一个网站的html变化了如何快速发现，以及多线程编程和异步io编程的细节等

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5825 学习 · 6293 问题

查看课程

相似问题

两个或两个以上的网站爬取算是分布式爬虫吗？我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？

回答 1

爬虫逆向工程

回答 1

爬虫的进阶学习

回答 1

scrapyd部署scrapy后无法关闭爬虫

回答 1

请教老师一个问题

回答 1

打开慕课网App查看更多内容