批量插入交作业

来源：7-5 API操作之插入数据&删除表&数据查询

慕姐2849259

2021-10-29

pk老师我是这样想的：
1，在kudu批量插入数据前，加入kafka消息队列
2，kudu应用程序从队列里取数据
3，kudu通过设置FlushMode.MANUAL_FLUSH，来实现批量（比如每100条数据）插入写
请老师指教

写回答

1回答

Michael_PK

2021-10-31

已采纳

这个操作太复杂了，不需要kafka的，直接以batch的方式写入就行了。

1）这里加一层kafka没有必要

2）多加一层框架，对于运维起来的成本就加大，万一kafka出问题了，更麻烦

慕姐2849259

非常感谢！pk老师

2021-11-04

共1条回复

SparkSQL入门整合Kudu实现广告业务数据分析

大数据工程师干货课程带你从入门到实战掌握SparkSQL

535 学习 · 192 问题

相似问题

回答 1

回答 1

回答 1

交作业

回答 1

回答 1