关于robots协议
来源：3-3 爬虫是万能的吗？
YY168
2019-04-21
这个协议说，除了几个大公司的爬虫，其他人都不能爬取。那么我自己在淘宝爬取的数据是不是只能自己用用啊？公开或者用于商业用途算违法还是啥？
写回答
1回答
-
Ethreal
2019-04-22
这只是规定 很多时候 我们都直接禁止 不然爬虫会爬不到数据的， 违不违法 看你拿数据做啥了 一般是没事的 如果你能做到让人家去告你 那你岂不是做的很大了
012019-04-22
相似问题