complete 的模式执行writeStream 异常缓慢

来源：8-7 使用SQL完成统计分析

weixin_慕UI2590442

2020-10-31

每次以complete mode 执行write stream 到console的时候都非常缓慢平均每个批次要花5分钟，我看了下log，发现程序在每个批次数据进来的时候一直在读写 checkpoint temp file. 请问这个问题有没有什么办法可以优化吗？

20/10/30 19:44:26 WARN ProcessingTimeExecutor: Current batch is falling behind. The trigger interval is 10000 milliseconds, but spent 270406 milliseconds

写回答

1回答

Michael_PK

2020-10-31

已采纳

你chk到目录的吗还是到什么地方去了？你把日志级别降低，看看是否有更重要的日志显示。你这个肯定是有啥问题引起了时间超长

Michael_PK

qq_北辰元凰_0

上面的楼层有，通过spark.sql.shuffle.partitions设置

2022-05-23

共7条回复

Spark3实时处理-Streaming+StructuredStreaming实战

实战Spark3实时处理，掌握两套企业级处理方案

340 学习 · 238 问题

查看课程

相似问题

代码运行特别慢

回答 1

疑惑

回答 1

运行OffsetApp03这个类出现异常

回答 2

如何进行分布式计算

回答 1

imooc-spark-web运行异常

回答 1

打开慕课网App查看更多内容