生产环境集群日志

来源：9-6 数据清洗之第一步原始日志解析

慕的地5108060

2018-06-22

老师您好，现在生产环境有多台nginx组成的集群，每日会有一个服务从每一台服务器上把昨天的日志下载下来再合并成一个文件，然后再用spark进行统计分析。有没有更优化，不需要合并日志，更合理的解决方式？

写回答

1回答

Michael_PK

2018-06-22

多个ng上直接使用flume采集过来就行了，不需要合并

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

相似问题

回答 1

回答 2

回答 2

回答 1

回答 1