关于checkpoint的疑问
来源:3-41 HDFS Checkpoint详解
慕先生545656
2020-05-21
老师好:
关于checkpoint我有个问题请教:
secondary namenode的合并操作(把fsimage和editlog合并成新的fsimage)是只有在namenode挂了之后恢复数据才进行还是会持续的过一段时间进行一次,替换一次namenode上的fsimage?
我理解是持续进行的,因为namenode如果挂了namenode上的fsimage和editlog都不能访问了,只能靠secondary namenode,所以secondary namenode要不断的同步namenode上的fsimage和editlog,再写回去,但是这样也有个问题,editlog同步的时候也是有周期吧,就是会不会出现namenode上有的editlog,还没来得及同步到secondary namenode由于namenode挂了同步不上的情况?
望老师解答。
谢谢
写回答
1回答
-
这个合并操作是定期就执行的,不需要人工干预,底层是到时间点就执行,比如10分钟,这是比如哈,具体时间可以去源码里面找找。
你的思路是对的,所以在生产上是需要配置NN的HA的,相关的元数据信息都写在journalnode节点上
012020-05-21
相似问题