server模式Cache表的生命周期

来源:6-5 Server模式vs例行作业模式(思考题)

慕少7351152

2022-06-22

—0623更新—
老师关于这一节我想追加一个问题,就是 既然大部分场景都会用cs架构,那为什么spark做这么多例行模式呢?(或者说例行模式有什么应用场景吗?)

—原问题—
老师好,
听到您视频中的第4点的Cache表,我看了下官网(https://spark.apache.org/docs/latest/sql-ref-syntax-aux-cache-cache-table.html) ,不过上面并没有写对Cache生命周期的管理(以及可能的优先级和swap机制),想简单问一下这一块的大致机制是怎样的啊?

写回答

1回答

Michael_PK

2022-06-23

1)例行作业指的是每次都是通过spark-submit进行作业的提交,比如生产上跑 yarn 或者k8s,那么每次作业提交都会去申请资源,这里是需要一些时间的,当然,对于普通的批处理作业是没问题的。但是我司就遇到过要求离线作业的sla非常高,所以每次spark-submit提交就达不到sla的要求

2)server模式值得是启动一个常驻服务,资源都申请好,每次作业上去就省略了申请资源的时间

0
2
Michael_PK
回复
慕少7351152
你的理解对的。server模式是共享资源用的
2022-06-27
共2条回复

SparkSQL入门 整合Kudu实现广告业务数据分析

大数据工程师干货课程 带你从入门到实战掌握SparkSQL

535 学习 · 192 问题

查看课程