请问老师那如何评估一条SQL在Presto中需要占用的内存大小呢?

来源:7-10 Presto配置优化

小毅Harry

2020-02-22

  1. 请问老师评估方法是如下么?
  • 查询涉及到的数据量 m
  • 每条记录的数据量k
  • 简单的SQL数据量大小 m*k
  1. 那对于复杂SQL,比如有Join和子查询的情况,可能上述评估方法就没法做了吧?

  2. 每条记录在内存大小应该和Presto设计的对象有关吧?不知道这个地方老师会进行补充么?

写回答

1回答

叁金

2020-02-22

你好,对于sql语句的评估单纯的按照数据量或者数据条数可能不太准,我们可以通过ui界面看到presto当前的执行情况。然后在我们presto章节的实战课程当中 有对于eventlistener的开发,在eventlistener当中我们可以获取到一条查询语句在执行过程中的一些信息,包括条数、数据量、内存。你可以重点关注一下。   其实我们的配置是根据我们收集的这些信息慢慢调整的一个过程。 祝顺利~

2
1
小毅Harry
好的,谢谢老师的回复~ 我刚看完这章,明天再写写UDF和EventListener,进一步加深理解~ 感谢
2020-02-22
共1条回复

玩转热门框架 用企业级思维 开发通用够硬的大数据平台

通揽大数据平台全貌,培养企业级开发大局观

484 学习 · 192 问题

查看课程