爬取重复信息

首页课程实战体系课手记专栏慕课教程

爬取重复信息

来源：15-2 es完成搜索建议-搜索建议字段保存 - 2

weixin_慕函数2503942

2019-03-14

老师你好，我爬虫某一个全网网站信息，发现总是爬取了很多重复信息，这怎么弄？

写回答

1回答

bobby

bobby

2019-03-16

已采纳

首先url去重只是一种去除重复的策略，但是很多时候可以根据内容的id去重你是否对url去重了还是有重复的内容？

0

3

weixin_慕函数2503942

非常感谢！

2019-03-19

共3条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

只爬取，不处理

回答 3

各大购物网站商品信息爬取

回答 1

获取了登录后的cookie无法获取具体信息

回答 1

知乎爬取问题

回答 2

实习僧爬取问题

回答 1

打开慕课网App查看更多内容