帅老师, 请进。

来源:1-1 PySpark导学

Muller_Lcy

2018-07-31

我记得没错的话,在Spark SQL 中讲到 大数据的环境安装有一个网页版的 HDP

简单自己安装了下,很吃性能(单独PC16G 跑三台虚机勉强)。优势 感觉就是 有个图形化安装界面 和 监控

纯个人感觉的缺点:刚开始的配置ambari 环境超费劲(很多坑),它的镜像是国外的,在线安装得1天吧... 自己下了离线包

    这意味:升级不那么方便吧   另外,感觉它的各个组件之间优化配置 好像不是那么好配置...

还是觉得 你教的CDH5 来的快,虽然安装配置需要自己弄  但是,这么多组件用下来,感觉这种方式 比HDP 爽太多了。 起码知道 自己都在配置些啥 

帅老师, 你们工作中环境是怎么搭建的?

写回答

1回答

Michael_PK

2018-07-31

工作中基本上两个选择:cm或者ambari,也就是cdh和hdp的,安装的时候要采用离线的方式安装,很快,分分钟搭建一个集群。他们都是Web UI的方式管理

1
2
Michael_PK
回复
Muller_Lcy
cdh应该70%有得
2018-07-31
共2条回复

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优,掌握Azkaban任务调度

1046 学习 · 434 问题

查看课程