Mac的Spark编译问题
来源：2-7 -Spark源码编译及部署
慕妹6004802
2021-11-14
老师您好，我有几个疑问：
- 如果直接使用Mac电脑的话，是不是不能用群里的Spark-2.3.1-bin-2.6.0-cdh5.7.0.tgz文件？我只能自己编译Spark源码吗？
- 我如果直接用老师“Hadoop入门”课程的Hadoop2.6.0-cdh5.15.1环境来配置Spark可以吗，还是我要重新下一个Hadoop2.6.0-cdh5.7.0？因为我这里卡住了，终端卡在这里几个小时了，我又不敢动（如下图1所示）。
- “./dev/make-distribution.sh --name 2.6.0–tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0” 这是我的编译命令，请问有没有问题啊？我在配置这方面真的比较不行，已经费了好几个小时了。我现在下的Spark是从这里下的https://archive.apache.org/dist/spark/spark-2.3.1/（如图2所示）。
写回答
1回答
-
Michael_PK
2021-11-14
1）部署包不分mac或者linux的，可以用的
2）可以直接用hadoop课程的那个，没问题的，只要hadoop大版本没问题，基本都是兼容的
3）./dev/make-distribution.sh --name 2.6.0 –tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0 命令可以的，这个编译是要看网速的，网速好也要个吧小时，网络不行，一晚上都有可能的。你直接用那个能用的部署包直接用就行
00
相似问题