【急】请老师帮忙EFK架构收入进Kibana时间显示乱序

来源:12-2 -codec插件详解

苦瓜苦也

2020-02-28

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /home/ncar/service/webapps/logs/ShengDaHTCXQDHD/ShengDaHTCXQDHD.log
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
  multiline.negate: true
  multiline.match: after
  tags: ["htcxqdhd"]

- type: log
  enabled: true
  paths:
    - /home/ncar/service/logs/start_info.log
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
  multiline.negate: true
  multiline.match: after
  tags: ["start"]

output.elasticsearch:
  hosts: ["http://192.168.167.234:9200","http://192.168.167.175:9200","http://192.168.167.204:9200"]
  indices:
    - index: "h5-htcxqdhd-%{+YYYY.MM}"
      when.contains:
        tags: "htcxqdhd"
    - index: "h5-htcxqdhd-start-%{+YYYY.MM}"
      when.contains:
        tags: "start"

setup.ilm.enabled: false
setup.template.name: h5
setup.template.pattern: h5-*

上面是filebeat的配置文件,但是kibana上面的显示还是乱序
图片描述

写回答

1回答

rockybean

2020-02-28

这个正常,kafka 你分了 partition,只保证一个 partition 是有序的。

解决方案是你把日志的时间解析出来作为 timestamp,然后按照这个排序就可以了

0
2
苦瓜苦也
非常感谢!
2020-02-28
共2条回复

Elastic Stack从入门到实践,动手搭建数据分析系统

有了Elastic Stack,不用写一行代码,你也可以玩转大数据分析!

1328 学习 · 393 问题

查看课程