代码运行特别慢

来源:8-4 快速开发第一个Structured Streaming应用程序

qq_北辰元凰_0

2022-05-23

package com.imooc.spark.sss

import org.apache.spark.sql.streaming.OutputMode
import org.apache.spark.sql.{DataFrame, SparkSession}

object WCApp {
def main(args: Array[String]): Unit = {

val spark = SparkSession.builder().master("local[2]")
  .appName(this.getClass.getName).getOrCreate()
import spark.implicits._
val lines = spark.readStream.format("socket")
  .option("host", "hadoop000")
  .option("port", 9999)
  .load()

val WordCount = lines.as[String].flatMap(_.split(","))
  .groupBy("value")
  .count()

  WordCount.writeStream
      .outputMode(OutputMode.Complete())
  .format("console")
  .start()
  .awaitTermination()
写回答

1回答

qq_北辰元凰_0

提问者

2022-05-23

我解决了

0
4
qq_北辰元凰_0
回复
Michael_PK
谢谢老师。
2022-05-23
共4条回复

Spark3实时处理-Streaming+StructuredStreaming实战

实战Spark3实时处理,掌握两套企业级处理方案

340 学习 · 238 问题

查看课程