抓取这种招聘网站会有风险吗？

来源：7-1 数据表结构设计

evilchaos

2020-06-23

我想问您一下，现在爬诸如拉勾，boss直聘这种招聘网站（只是爬一些职位信息然后做个搜索引擎玩玩）会不会被请去喝茶啊？如果遵守这些网站的robots.txt协议，好像我们啥都不能干了。

写回答

1回答

bobby

2020-06-24

别公开这些数据，你自己做个数据分析出来没事，别商用别免费一般没有问题，抓取的时候现在除了百度的爬虫以外估计没有人遵循robots协议

bobby

evilchaos

不要无节制的抓取就行了一般不会因为你抓取过快告你的因为对方会做反爬的你只要控制住刚好能抓取到数据就行了

2020-06-27

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 2

回答 1

回答 1

回答 1

回答 1