spark 计算本地1G文件count时发生内存错误

首页课程实战体系课手记专栏慕课教程

spark 计算本地1G文件count时发生内存错误

来源：9-8 -数据清洗之日志解析

Only_guest

2017-09-07

就用mkfile 生成了一个1G的文件，测试一下spark的使用，为什么就爆内存错误了。

写回答

1回答

Michael_PK

Michael_PK

2017-09-07

你什么模式运行？本机内存多少

0

1

Only_guest

运行的spark-shell，本机内存8GB。 1G文件用下面的命令生成的。 mkfile 1g temp_1GB_file

2017-09-07

共1条回复

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

相似问题

spark源码编译错误

回答 1

本地需要安装spark环境么？

回答 1

spark read parquet报错，但是能写入

回答 4

spark sql 中可以创建表吧，我想问的是这些数据都存储在内存中了吗？

回答 2

spark可以存储数据吗？

回答 1

打开慕课网App查看更多内容