Azkaban和DolphinScheduler对于数据平台哪个更适合?

来源:5-1 我们需要一个调度系统【任务处理现状、调度系统通用功能】

qq_假面_10

2020-12-26

  • 现象:之前公司调度用的azkaban,任务2周月内卡死出现次数超过一半
  • 影响范围: 导致给管理层以及运营人员看的业务报表第二天迟迟发不来
  • 想要达到的目标:为业务应用提供安全、可靠、稳定、舒心的服务,业务高峰时资源及时扩容,洪峰来临时,优先确保核心应用稳定,调度平台不会轻易宕机。

通过对DolphinScheduler的调研发现它在可视化,易用性,异常作业的重试以及工作流的监控相比于azkaban都表现的更好一些,如果对azkaban已经做过了二次开发,那么是否会考虑把DolphinScheduler用起来呢?

写回答

1回答

叁金

2020-12-28

azkaban如果任务量过多确实有卡死服务器的可能,dolphinscheduler对比azkaban有一些新特性,比如 可视化较好,支持多租户,支持任务队列等等,理论上可以解决你面临的一些问题。   建议可以搭建测试一下可用性,稳定在,是否方便扩展,二次开发等等,比竟还是在孵化阶段,  我本身也没有实际使用过dolphinscheduler,无法给你太多的帮助啦

1
1
qq_假面_10
非常感谢!
2021-01-11
共1条回复

玩转热门框架 用企业级思维 开发通用够硬的大数据平台

通揽大数据平台全貌,培养企业级开发大局观

485 学习 · 192 问题

查看课程