老师,你好,通过学习课程进行实际生产的使用,但是出现以下问题

来源:1-1 -导学-

慕运维7479159

2018-06-06

老师,你好,通过学习课程进行实际生产的使用,但是出现以下问题

程序flume kafka 会造成阻塞,造成新的数据插入不进去, 然后阻塞 一两个小时后又恢复原样,

以下是flume 配置

不知道是哪里出问题,请给建议,有没有不合适的配置


a1.channels = c1

a1.sources = r1

a1.sinks = k1


a1.channels.c1.type = memory

a1.channels = c1

a1.channels.c1.capacity = 500000

a1.channels.c1.transactionCapacity = 100000

a1.channels.c1.byteCapacityBufferPercentage = 10


a1.channels.c1.byteCapacity = 3000000

a1.channels.c1.keep-alive = 5


a1.sources.r1.type = thrift

a1.sources.r1.bind = hadoop11

a1.sources.r1.port = 9090

a1.sources.r1.batchTimeout = 3000

a1.sources.r1.threads =100

#a1.sources.r1.kafka.consumer.timeout.ms = 100


a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink

a1.sinks.k1.topic = streaming_spark230_topic

a1.sinks.k1.brokerList =hadoop10:9092,hadoop11:9092,hadoop12:9092

a1.sinks.k1.requiredAcks = 1

a1.sinks.k1.batchSize = 1000


a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1


写回答

1回答

Michael_PK

2018-06-06

发生堵塞的原因很多:网络是否OK?kafka机器的负载是否过高?flume channel的数据是否过多来不及消费?等等等等因素

0
3
慕运维7479159
回复
Michael_PK
十分感谢
2018-06-07
共3条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

查看课程