使用KafkaSInk将Flume收集到的数据输出到Kafka失败

来源：11-5 -使用KafkaSInk将Flume收集到的数据输出到Kafka

hwbaker

2018-02-18

启动IDEA程序后，观察flume输出，报错如下图所示：

配置flume Agent文件 streaming2.conf：

agent1.sources = avro-source

agent1.channels = logger-channel

agent1.sinks = kafka-sink

#define source

agent1.sources.avro-source.type = avro

agent1.sources.avro-source.bind = 127.0.0.1

agent1.sources.avro-source.port = 41414

#define channel

agent1.channels.logger-channel.type = memory

#define sink

agent1.sinks.kafka-sink.type = org.apache.flume.sink.kafka.KafkaSink

agent1.sinks.kafka-sink.topic = streamingtopic

agent1.sinks.kafka-sink.brokerList = localhost:9092

agent1.sinks.kafka-sink.requiredAcks = 1

agent1.sinks.kafka-sink.batchSize = 20

agent1.sources.avro-source.channels = logger-channel

agent1.sinks.kafka-sink.channel = logger-channel

写回答

2回答

hwbaker

提问者

2018-02-19

pom.xml中kafka改为0.9.0.0，如下：

<kafka.version>0.9.0.0</kafka.version>

把如下这段注释掉：

<groupId>org.apache.kafka</groupId>

<artifactId>kafka_2.11</artifactId>

<version>${kafka.version}</version>

</dependency>

注释掉就好了，不太明白为什么。

Michael_PK

有些依赖的jar冲突

2018-02-19

共1条回复

Michael_PK

2018-02-18

群里回答

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

查看课程

相似问题

三大组件整合过程中flume与kafka整合失败

回答 2

请教老师用Flume采集线上nginx的日志那Flume是不是也要安装到同nginx的服务器上？

回答 1

为什么大数据的消息订阅发布要选用kafka

回答 1

flume数据源

回答 2

老师,你好,通过学习课程进行实际生产的使用,但是出现以下问题

回答 1

打开慕课网App查看更多内容