爬取csdn博客板块推荐信息，怎么去重？

首页课程实战体系课手记专栏慕课教程

爬取csdn博客板块推荐信息，怎么去重？

来源：4-2 scrapy安装和配置

keeping18

2023-02-08

问题描述：

每次进入推荐页面的url是相同的，但是显示的内容是不一样的（没有规律），这样的话怎么对爬取的内容去重呢？

相关截图：

写回答

1回答

bobby

bobby

2023-02-09

这是推荐系统的url是一样的，但是内容是不一样的，这样你只需要不停的抓取同一个url就能抓取到内容，去重scrapy会去做的

0

1

keeping18

好的，谢谢老师~

2023-02-09

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

爬取重复信息

回答 1

博客园只爬取每页第一条

回答 4

博客园就爬取一条就停止了，连接es出了问题

回答 2

只爬取，不处理

回答 3

rule中follow参数为true。

回答 2

打开慕课网App查看更多内容