对spark streaming的内存要求

来源：4-20 功能开发之统计功能使用DataFrame API以及SQL API来完成

孤独观测者

2020-08-07

我跑了一个streaming作业占了6g的内存，买的服务器本来16g的，跑完一个作业只剩3g，再跑第二个作业就执行的很慢，过不久作业直接下线了。
streaming作业占用的内存可以用参数控制在3g左右吗，我看有些文章写的最少6g

写回答

1回答

Michael_PK

2020-08-07

这些参数是可以设置的，在spark-submit作业提交的时候通过参数去设置启动几个exe，每个exe的内存是多少，core是多少，可以根据自己的系统整体资源来调整。具体的参数是什么，可以通过 spark-submit --help这个命令查看到

Spark进阶大数据离线与实时项目实战

大数据生态圈实用框架(Spark/Hbase/Redis/Hadoop)整合应用及调优

700 学习 · 190 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 1