kafka->flume->hive的问题
来源:11-4 -使用Flume采集Log4j产生的日志

慕少7391214
2019-06-14
这个流程跑通了,但是又有一个问题。kafka数据是key-value的,业务上以key作为区分,但是到hive的时候,只能拿到value,拿不到key。请问有什么办法可以拿到kafka的key,然后key和day作为partition,对value解析出value中的json,key对应字段的存储?(value中的json其实已经解析出来了,只是担心拿到key会影响解析,故一起说了)麻烦老师啦。
写回答
1回答
-
key这个我还真没用过,我们所有业务都只用value,JSON数据用spark处理很简单,自带就能解析出来
022019-06-17
相似问题