既然不知道是什么类型,那把它都认为是string不行么?
来源:6-7 -DataFrame与RDD互操作方式二
慕桂英1146026
2018-12-02
def program(spark: SparkSession): Unit = {
// RDD ==> DataFrame
val rdd = spark.sparkContext.textFile("D://data/infos.txt")
val infoRDD = rdd.map(_.split(",")).map(line => Row(line(0), line(1), line(2)))
val structType = StructType(Array(StructField("id", StringType, true),
StructField("name", StringType, true),
StructField("age", StringType, true)))
val infoDF = spark.createDataFrame(infoRDD, structType)
infoDF.printSchema()
infoDF.show()
写回答
1回答
-
大部分用string是可以的,但是有些度量的字段是严格要求数值类型
00
相似问题