既然不知道是什么类型,那把它都认为是string不行么?

来源:6-7 -DataFrame与RDD互操作方式二

慕桂英1146026

2018-12-02


def program(spark: SparkSession): Unit = {
   // RDD ==> DataFrame
   val rdd = spark.sparkContext.textFile("D://data/infos.txt")
   val infoRDD = rdd.map(_.split(",")).map(line => Row(line(0), line(1), line(2)))
   val structType = StructType(Array(StructField("id", StringType, true),
     StructField("name", StringType, true),
     StructField("age", StringType, true)))
   val infoDF = spark.createDataFrame(infoRDD, structType)
   infoDF.printSchema()
   infoDF.show()

写回答

1回答

Michael_PK

2018-12-03

大部分用string是可以的,但是有些度量的字段是严格要求数值类型

0
0

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程