sqoop 导入分区表问题

来源:12-3 回收站

漫步oo0云端

2020-03-24

老师好~想请教一个sqoop导入的问题。
sqoop 导入 分区表的时候因为要指定一个分区,因此如果表中有100个分区就要建100个job进行同步,如果元数据这个分区字段是动态的,一个月后这个字段有110个值,那么就要对应增加10个作业,这样效率就太低了,有什么办法在一个job把所有数据导入一个分区表中吗?

写回答

1回答

Michael_PK

2020-03-24

你想的太多了,一个表里面100个分区,这么设计不可能过的了评审的。sqoop的场景一般都是离线的,定时导入前面一点时间的批次的数据。

0
1
漫步oo0云端
非常感谢!
2020-03-25
共1条回复

Hadoop 系统入门+核心精讲

从Hadoop核心技术入手,掌握数据处理中ETL应用,轻松进军大数据

2397 学习 · 902 问题

查看课程