老师, 麻烦问下爬虫工程师以后发展规划

来源：1-1 python分布式爬虫打造搜索引擎简介

qq_老虎_daniu

2022-03-02

爬虫工程师, 以后发展路径都是啥呢?

写回答

1回答

bobby

2022-03-04

爬虫工程师发展方向有两种 1. 专业做爬虫工程师，这种对于很多依赖数据的公司很重要，比如百度，去哪儿网等，还有很多做数据服务的公司，都严重依赖爬虫工程师，需要能够抓取到各种数据 2. 转向数据工程师，因为你要是能有爬虫能力就说明给你能爬取到很多数据，但是这些数据如果更好的存储、检索和提供服务就成了接下来的需求了

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程

相似问题

两个或两个以上的网站爬取算是分布式爬虫吗？我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？

回答 1

爬虫逆向工程

回答 1

课程6-4 调试拉钩网爬取url，response为302重定向为登录页面，没有进入调用callback函数parse_item，提取不到后续url

回答 1

获取了登录后的cookie无法获取具体信息

回答 1

scrapyd部署scrapy后无法关闭爬虫

回答 1

打开慕课网App查看更多内容