如何保证 Alluxio 和 Hdfs中的数据一致？
来源：7-13 Alluxio案例分享之在去哪儿的应用
苏先生1
2020-02-12
Pk哥你好，如果使用alluxio如何保证Hdfs的数据一致呢？
这是正常查询请求的场景
如果第一次alluxio中没有所需要的数据，这个时候是从hdfs加载数据到alluxio中，
但是hdfs的数据发生了改变 alluxi中的数据也是会发生变化吗？
我能想到的是 当h’dfs中的数据发送除了查询之外的请求，都需要更新alluxio中的数据，或者直接删除alluxio的数据，等之后的查询过来在重新加载；
不知道这种场景 alluxio是否已有解决方案呢？
写回答
1回答
-
Michael_PK
2020-02-12
这个问题提的很好！！！ 两者的一致性必然是需要经过完整的测试才知道的，比如你需要找一个场景，确定HDFS的记录数，然后去Alluxio中确定记录数，如果是ok的，那就说明没有问题。当然这是一个前期的调研的功能性验证。在生产上也是需要做数据质量的校验的，不然两端数据如果发生对不上的情况，那么对于你来说里面就是个黑盒子了，这肯定是不行的。
042022-02-16
相似问题