logger sink 出现了问题

来源:3-7 -Flume实战案例二

慕仙4974986

2018-11-27

查阅flume的官方文档
Logger Sink


channel –
type – The component type name, needs to be logger
maxBytesToLog 16 Maximum number of bytes of the Event body to log


默认只输出 16个字节,我调整了 maxBytesToLog的大小,依然不管用
a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /root/data/data.log
a1.sources.r1.shell = /bin/sh -c

a1.sinks.k1.type = logger
a1.sinks.k1.maxBytesToLog = 1600 --这个没有生效,是什么原因

a1.channels.c1.type = memory

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

问题1:
echo 012345678901234ffffffff >> data.log
只会打印出:012345678901234
应该答应出:012345678901234ffffffff
问题2:
echo 张三 >> data.log
打印不出日志

写回答

1回答

Michael_PK

2018-11-27

这个无效的,你可以跟下源码,如何有兴趣的话。控制台展示多少其实无所谓,只要能sink到文件对的就行

0
2
Michael_PK
回复
慕仙4974986
有兴趣可以去改改源码看看,是不是bug不好说,只是截取了而已
2018-11-27
共2条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

查看课程