Uploading resource file:/tmp/spark-xxx:9000/user/root.sparkxxx

来源：9-24 -Spark on YARN基础

_Gloria

2019-03-05

hadoop 运行正常，复制了老师笔记中的命令，修改了spark的安装目录。就会出现如标题一样的提示，上传一个文件到hdfs 上，然后就卡在这儿动不了了，进程也kill不掉，除了重启没别的办法了。
图片描述
hadoop001:50070 上边 livenode 1 ;
spark.env.sh 也做了修改 HADOOP_CONF_DIR=/root/hadoop-2.6.0-cdh5.7.0/etc/hadoop
在hdfs做了查看，确实有上传的目录，不过都是空的。。。

写回答

2回答

Michael_PK

2019-03-05

已采纳

这个过程是把本地的包都要传到HDFS上去的，是需要一定的过程的，好几百兆的。阿里云2G的内存大小，这种机器建议不用了，几乎就是积累，Hadoop的进程 Spark的进程占用默认可能都比这样的大了。建议改大资源的云主机配置，或者就搞个VM 至少6G来运行

_Gloria

非常感谢！

2019-03-05

共1条回复

Michael_PK

2019-03-05

你集群的data node和node manage r呢？

_Gloria

在另一台阿里云服务器上，datanode 和 nodemanager 都启动正常。我百度到了类似的问题， https://www.cnblogs.com/honeybee/p/6379599.html?utm_source=itdadao&utm_medium=referral ，大概是这个意思，就是在向 hdfs 上传东西，貌似还卡住了，但是看您的视频中并没有出现这个问题，还是因为阿里云服务器2G内存太小，示例程序都跑不起来

2019-03-05

共1条回复

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程

相似问题

请问，为什么spark-sql里show tables有表，spark-submit提交job里没有表？

回答 1

spark read parquet报错，但是能写入

回答 4

学完spark sql和spark streaming 可以去找工作吗

回答 2

linux上运行jar包，默认从hdfs上找，怎样改从电脑文件中找

回答 1

SparkSQL和Hive on Spark的区别

回答 2

打开慕课网App查看更多内容