三大组件整合过程中flume与kafka整合失败

来源:11-5 -使用KafkaSInk将Flume收集到的数据输出到Kafka

斯诺克的海

2018-02-11

http://img.mukewang.com/szimg/5a7fd2c20001a6c212841196.jpgflume与kafka单独都可以连接spark streaming,但是接下来flume与kafka整合这一步报了这个错误,无法将产生的日志收集到kafka

写回答

2回答

斯诺克的海

提问者

2018-02-11

搞定了!拷贝少了一个包,一共要拷贝的包是:

kafka_2.11-0.9.0.0.jar

metrics-core-2.2.0.jar

scala-library-2.11.8.jar

kafka/libs目录下的这三个包要拷贝到flume/lib目录下,如果版本有冲突什么的,要确保一致!

按照课程学习下来应该是会有冲突的。

1
0

Michael_PK

2018-02-11

版本是否对应上了

0
1
斯诺克的海
flume的lib目录下的scala-library、zookeeper的jar都弄成跟kafka的lib目录一样了,还是不行
2018-02-11
共1条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

查看课程