Azkaban和DolphinScheduler对于数据平台哪个更适合?
来源:5-1 我们需要一个调度系统【任务处理现状、调度系统通用功能】
qq_假面_10
2020-12-26
- 现象:之前公司调度用的azkaban,任务2周月内卡死出现次数超过一半
- 影响范围: 导致给管理层以及运营人员看的业务报表第二天迟迟发不来
- 想要达到的目标:为业务应用提供安全、可靠、稳定、舒心的服务,业务高峰时资源及时扩容,洪峰来临时,优先确保核心应用稳定,调度平台不会轻易宕机。
通过对DolphinScheduler的调研发现它在可视化,易用性,异常作业的重试以及工作流的监控相比于azkaban都表现的更好一些,如果对azkaban已经做过了二次开发,那么是否会考虑把DolphinScheduler用起来呢?
写回答
1回答
-
azkaban如果任务量过多确实有卡死服务器的可能,dolphinscheduler对比azkaban有一些新特性,比如 可视化较好,支持多租户,支持任务队列等等,理论上可以解决你面临的一些问题。 建议可以搭建测试一下可用性,稳定在,是否方便扩展,二次开发等等,比竟还是在孵化阶段, 我本身也没有实际使用过dolphinscheduler,无法给你太多的帮助啦
112021-01-11
相似问题