咨询个问题，每天都产生好多的日志，和nginx在同一台机器的日志随时都肯崩盘

来源：9-6 数据清洗之第一步原始日志解析

慕桂英1146026

2018-12-04

咨询个问题，每天都产生好多的日志，和nginx在同一台机器的日志随时都肯崩盘，web项目就给挤挂机了，这种情况是这么处理的，一个月清理一次显然也不合理，要是想统计一年的数据，数据没了没法统计了，要是都导入到hdfs集群会不会因为集群不稳定导致数据找不回来了

写回答

2回答

Michael_PK

2018-12-04

已采纳

ng 的日志是在专门的机器上的，只要被采集到HDFS就行，ng上的日志一般保留一天足矣

慕桂英1146026

非常感谢！

2018-12-05

共4条回复

Michael_PK

2018-12-04

不可能一次性统计一年的，最迟也是一天统计一次入库，后续就在统计的基础上操作。一般HDFS是要存十几个月的日志的，已被稽查

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

相似问题

回答 2

回答 1

回答 1

回答 1

回答 1