IDEA运行HiveMySQLApp.scala时报OutOfMemoryError错误

来源:7-8 -Hive和MySQL综合使用

XquanZeng

2019-04-17

环境情况:IDEA是安装在虚拟机CentOS6.4上,整个虚拟机使用4G内存

问题:
图片描述

Exception in thread “broadcast-exchange-0” java.lang.OutOfMemoryError: Not enough memory to build and broadcast the table to all worker nodes. As a workaround, you can either disable broadcast by setting spark.sql.autoBroadcastJoinThreshold to -1 or increase the spark driver memory by setting spark.driver.memory to a higher value

尝试解决:添加配置,如下图
图片描述

执行还是报错:Exception in thread “main” java.lang.OutOfMemoryError: PermGen space

写回答

1回答

Michael_PK

2019-04-17

JVM内存不够了。。。你的虚机加大内存吧,不然你设置2G,哪里还有内存给你用呢

0
7
XquanZeng
回复
Michael_PK
好的,明白了,谢谢老师!
2019-04-17
共7条回复

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程