executor和task的关系

来源:7-7 -task数量的设置

卜硕

2020-03-01

对executor和task的关系一直有些疑惑,经过自己查询和试验,得到以下结论,请老师帮我看看有没有问题:
1、默认一个executor对应一个task;
2、executor是线程的概念,多少个executor就有多少个线程;
3、当executor的数量大于task的数量时,会有线程被闲置,只有task数量的线程可以工作;
4、当executor的数量小于task的数量时,也只有executor数量的线程工作;
5、因为一个topo提交以后,task的数量不可以修改,而executor的数量可以修改,所以,可以动态调整executor的数量,
从而达到动态调整并行度的效果;
不知道以上我总结的有没有问题,请老师指教;

写回答

1回答

Michael_PK

2020-03-01

这个总结很到位

0
0

Java大数据实战,巧用Storm快速切入实时流处理领域

深入Storm内部机制,logstash+kafka,快速切入大数据实时流处理

518 学习 · 143 问题

查看课程