会不会出现数据重复问题？

首页课程实战体系课手记专栏慕课教程

会不会出现数据重复问题？

来源：14-14 获取个人信息详情-1

小禹o0

2019-05-15

老师，抓取的作者信息很有可能会抓到多次，这里会出现重复的情况吧？如果重复的话怎么解决这个问题呢？

写回答

1回答

bobby

bobby

2019-05-16

插入数据前先查询数据库来确定是更新还是插入就不会重复了

0

0

Python爬虫工程师实战大数据时代必备

慕课网严选精品教程，高质量内容+服务！

2377 学习 · 1158 问题

相似问题

CSDN爬取获取数据重复

回答 1

answer 表保存，获取到数据之后进行answer.save()，发现数据会被覆盖，这个要怎么办呢？

回答 1

出现重复的URL

回答 1

为什么peewee save完之后保存不到数据到mysql数据库

回答 2

老师，用这个库反而403了，是不是没用了

回答 1

打开慕课网App查看更多内容