谈谈对大数据生态框架的认识

来源：3-1 课程目录

慕函数9758560

2022-12-23

谈谈你对Hadoop版本的认识？
你们公司生产上的Hadoop是什么版本？

hadoop3.2.1
sqoop1.4.5
hive3.1.2

为什么选择这个版本？

相对稳定、漏洞补丁修复方便、满足组件间相互版本依赖

谈谈你对选择版本的看法？

原则：
1、不使用beta版，尽量使用半年以上的stable版本，以保证生产稳定和漏洞补丁修复，
2、针对较历史版本有重大特性变更的Release版本，如hadoop1.X->Hadoop2.X，需谨慎，以保证生产稳定为基础，需保证有完整运维监控手段
3、满足组件间相互版本依赖

谈谈你对大数据生态框架的认识？

你熟悉大数据生态圈中的哪些框架？
它们各自是为了解决什么应用场景？

存储计算：
    存算一体：Hbase、GP、ClickHouse、Hbase、Doris、druid、Kylin
    算：Presto、Impala、Flink、Spark
    存：HDFS/S3/Hudi/Kudu/Iceberg/DeltaLake
数据集成：DataX、Sqoop、FlinkCDC
工作流：Azkanban、Oozie
数据治理：Atlas、Vone
日志：Flume

写回答

1回答