kafka->flume->hive的问题

来源:11-4 -使用Flume采集Log4j产生的日志

慕少7391214

2019-06-14

这个流程跑通了,但是又有一个问题。kafka数据是key-value的,业务上以key作为区分,但是到hive的时候,只能拿到value,拿不到key。请问有什么办法可以拿到kafka的key,然后key和day作为partition,对value解析出value中的json,key对应字段的存储?(value中的json其实已经解析出来了,只是担心拿到key会影响解析,故一起说了)麻烦老师啦。

写回答

1回答

Michael_PK

2019-06-14

key这个我还真没用过,我们所有业务都只用value,JSON数据用spark处理很简单,自带就能解析出来

0
2
慕少7391214
非常感谢!
2019-06-17
共2条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

查看课程