server模式Cache表的生命周期
来源:6-5 Server模式vs例行作业模式(思考题)

慕少7351152
2022-06-22
—0623更新—
老师关于这一节我想追加一个问题,就是 既然大部分场景都会用cs架构,那为什么spark做这么多例行模式呢?(或者说例行模式有什么应用场景吗?)
—原问题—
老师好,
听到您视频中的第4点的Cache表,我看了下官网(https://spark.apache.org/docs/latest/sql-ref-syntax-aux-cache-cache-table.html) ,不过上面并没有写对Cache生命周期的管理(以及可能的优先级和swap机制),想简单问一下这一块的大致机制是怎样的啊?
写回答
1回答
-
Michael_PK
2022-06-23
1)例行作业指的是每次都是通过spark-submit进行作业的提交,比如生产上跑 yarn 或者k8s,那么每次作业提交都会去申请资源,这里是需要一些时间的,当然,对于普通的批处理作业是没问题的。但是我司就遇到过要求离线作业的sla非常高,所以每次spark-submit提交就达不到sla的要求
2)server模式值得是启动一个常驻服务,资源都申请好,每次作业上去就省略了申请资源的时间
022022-06-27
相似问题