配置完Spark队列没生效

首页课程实战体系课手记专栏慕课教程

配置完Spark队列没生效

来源：5-16 【重要！必掌握】调度器之CapacityScheduler队列配置及测试

慕妹8003063

2024-02-21

我的队列里原来就有default和hadoop两个，我安装老师教的方法配置后capacity-scheduler.xml，且执行yarn rmadmin -refreshQueues也生效了，但是刷新web，队列里还是只有default和hadoop，没有spark。还有一个问题，capacity-scheduler.xml里并没有配置hadoop啊，这是在哪里配置的啊？
我指定spark队列执行案例pi 可以成功，这时UI里显示出了队列spark，却不显示执行的作业 pi，这又是何故呢？
我指定队列default执行pi,队列hadoop显示有资源使用比率，default没有，也不显示该作业。

写回答

1回答

Michael_PK

Michael_PK

2024-02-25

我看了下我的capacity-scheduler.xml的文件中：

<property>

<name>yarn.scheduler.capacity.root.queues</name>

<value>default,spark</value>

<description>

The queues at the this level (root is the root queue).

</description>

</property>

这里面我设置的是default,spark，你的这里面没有hadoop，应该是不可能有hadoop的呢。

你确认一个问题，你的到底是

capacity和fair生效了

0

2

Michael_PK

回复

慕妹8003063

用hadoop000那套环境是OK的，但是好像那套环境的hadoop版本和这个课程的hadoop版本应该是不一样的，不知道你现在用的是这套课程的hadoop版本吗？我给你贴的是本套课程录制时的配置

2024-03-10

共2条回复

轻松入门大数据一站式完成核心能力构建

大数据入门第一课，一站式完成核心能力构建

174 学习 · 59 问题

相似问题

老师好,我使用HDFSAPI进行下载方法测试时出现异常，请查看一下

回答 1

java安装

回答 1

只能用云主机外网IP：9870

回答 1

java 客户端连不上hadoop

回答 1

阿里云主机开通咨询

回答 1

打开慕课网App查看更多内容