sqoop 导入分区表问题
来源:12-3 回收站
漫步oo0云端
2020-03-24
老师好~想请教一个sqoop导入的问题。
sqoop 导入 分区表的时候因为要指定一个分区,因此如果表中有100个分区就要建100个job进行同步,如果元数据这个分区字段是动态的,一个月后这个字段有110个值,那么就要对应增加10个作业,这样效率就太低了,有什么办法在一个job把所有数据导入一个分区表中吗?
写回答
1回答
-
你想的太多了,一个表里面100个分区,这么设计不可能过的了评审的。sqoop的场景一般都是离线的,定时导入前面一点时间的批次的数据。
012020-03-25
相似问题