增量数据采集

首页课程实战体系课手记专栏慕课教程

增量数据采集

来源：4-14 Datax数据采集实战

慕婉清3415166

2020-03-19

老师好，datax可以将存量数据导入数据仓库，增量数据一般怎么处理？

写回答

1回答

叁金

2020-03-19

你好，对于datax增量数据，我们可以引入变量的概念。比如我们的增量键是时间或者id，在我们的sql当中 id和时间就是变量，我们可以通过命令输入参数的方式替换变量达到增量导入的目的。在视频中也有进行演示。

0

1

慕婉清3415166

谢谢解答！再问一下，增量数据如果要实时获取有什么好的方案吗

2020-03-19

共1条回复

玩转热门框架用企业级思维开发通用够硬的大数据平台

通揽大数据平台全貌，培养企业级开发大局观

484 学习 · 192 问题

相似问题

中级大数据工程师的迷茫

回答 2

请问老师累加器变量队列变量标记变量

回答 1

datax实时同步

回答 1

分桶表分到每个桶的数据数量是随机的吗？

回答 1

处理数仓数据

回答 1

打开慕课网App查看更多内容