关于checkpoint的疑问

来源:3-41 HDFS Checkpoint详解

慕先生545656

2020-05-21

老师好:
关于checkpoint我有个问题请教:
secondary namenode的合并操作(把fsimage和editlog合并成新的fsimage)是只有在namenode挂了之后恢复数据才进行还是会持续的过一段时间进行一次,替换一次namenode上的fsimage?

我理解是持续进行的,因为namenode如果挂了namenode上的fsimage和editlog都不能访问了,只能靠secondary namenode,所以secondary namenode要不断的同步namenode上的fsimage和editlog,再写回去,但是这样也有个问题,editlog同步的时候也是有周期吧,就是会不会出现namenode上有的editlog,还没来得及同步到secondary namenode由于namenode挂了同步不上的情况?

望老师解答。

谢谢

写回答

1回答

Michael_PK

2020-05-21

这个合并操作是定期就执行的,不需要人工干预,底层是到时间点就执行,比如10分钟,这是比如哈,具体时间可以去源码里面找找。


你的思路是对的,所以在生产上是需要配置NN的HA的,相关的元数据信息都写在journalnode节点上

0
1
慕先生545656
非常感谢!
2020-05-21
共1条回复

Hadoop 系统入门+核心精讲

从Hadoop核心技术入手,掌握数据处理中ETL应用,轻松进军大数据

2397 学习 · 902 问题

查看课程