日志生成问题

来源：12-13 -功能一之需求分析及存储结果技术选型分析

圣卡西

2018-04-10

运行用python写的日志生成器，有kafka消费时会在控制台中会输出一些结构不完整的日志，用tail命令也会出现

写回答

2回答

Michael_PK

2020-09-03

那上面有一句话 tail file truncate的了。这种即使不规范，那在sparkstreaming对接后，自己etl清洗掉不符合格式要求的日志就可以了

Michael_PK

2018-04-10

日志不规整很正常，生产上很多都是脏的，进去处理引擎后自己把脏数据丢了就行

啊大bug

圣卡西

这种情况你是咋处理的？

2020-09-03

共3条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

回答 1

回答 1

回答 1

回答 3

回答 1