如何处理数据获取中断问题
来源：3-1 根据项目需求设计mysql数据库结构
慕后端0509175
2019-09-14
在获取数据时，即使使用了代理，进行了异常捕获，但是程序还是中断，在实际爬虫开发中，数据抓取应该是可持续的，如果时间不是那么紧，可以每天抓取一点，但要是一次获取大量数据而中断，这个该怎么来处理？
写回答
1回答
-
慕后端0509175
提问者
2019-09-14
当然，一方面在开发中，使用定时任务持续获取数据也是可以的，但是这个时间是多长还需要测试。
00
相似问题