关于程序停止下次再继续爬取的问题
来源：8-8 进一步的思考 - 课后作业
weixin_慕无忌0272843
2022-08-01
比如一级url等放到一个redis库中，从中取出并请求每个一级url的二级url. 某个一级url处理到一半，突然程序停止。这个一级url可能已经从库里删除了，但是它还有一部分二级url没爬去到。如何保证下一次爬取数据时能把这一部分的二级url爬取到
写回答
1回答
-
bobby
2022-08-02
一级url被删除了， 为什么二级的url会丢了？
022022-08-07
相似问题