SparkRDDToDF
package com.sql import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, Row, SparkSession} object Demo06RDDtoDF { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession .builder() .appName("Demo06RDDtoDF") .master("local") .config("spark.sql.shuffle.partitions", 2) .getOrCreate() import spark.implicits._ val stuRDD: RDD[String] = spark.sparkContext.textFile("bigdata19-spark/data/students.txt") // RDD to DataFrame // 1、手动指定列名 val stuRddToDF: DataFrame = stuRDD.map(line => { val splits: Array[String] = line.split(",") (splits(0), splits(1), splits(2).toInt, splits(3), splits(4)) }).toDF("id", "name", "age", "gender", "clazz") stuRddToDF.show() //第2种,使用样例类 val stuRddToDF2: DataFrame = stuRDD.map(line => { val strings: Array[String] = line.split(",") StuRDDToDF(strings(0), strings(1), strings(2).toInt, strings(3), strings(4)) }).toDF() stuRddToDF2.show() // DF to RDD // 直接调用.rdd方法即可得到一个 每一条数据都是Row对象的RDD val rdd: RDD[Row] = stuRddToDF.rdd } } case class StuRDDToDF(id:String,name:String,age:Int,gender:String,clazz:String)
原文地址:http://www.cnblogs.com/wqy1027/p/16837320.html
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,请务用于商业用途!
3. 如果你也有好源码或者教程,可以到用户中心发布,分享有积分奖励和额外收入!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
7. 如遇到加密压缩包,默认解压密码为"gltf",如遇到无法解压的请联系管理员!
8. 因为资源和程序源码均为可复制品,所以不支持任何理由的退款兑现,请斟酌后支付下载
声明:如果标题没有注明"已测试"或者"测试可用"等字样的资源源码均未经过站长测试.特别注意没有标注的源码不保证任何可用性