正文
Spark之 SparkSql、DataFrame、DataSet介绍
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
SparkSql
SparkSql是专门为spark设计的一个大数据仓库工具，就好比hive是专门为hadoop设计的一个大数据仓库工具一样。
特性：
、易整合
可以将sql查询与spark应用程序进行无缝混合使用，同时可以使用java、scala、python、R语言开发代码
、统一的数据源访问
sparksql可以使用一种相同的方式来对接外部的数据源
val dataframe=SparkSession.read.格式("该格式文件的路径")
、兼容hive
可以通过sparksql来操作hivesql
、支持标准的数据库连接
可以通过使用jdbc和odbc来连接上数据库
DataFrame
DataFrame前身叫SchemaRDD,在spark1.3.0之后把schemaRDD改名为DataFrame,DataFrame不在继承RDD，而之前的SchemaRDD它是直接继承自RDD，它是自己实现了RDD的一些方法。
DataFrame是spark中基于RDD的分布式数据集，类似于传统数据库中的二维表格，表中有对应的字段名称和类型。在DataFrame这些信息就是它schema元信息。
DataFrame和RDD的区别
DataFrame比RDD多了对数据结构的描述信息，也就是DataFrame中的schema，schema里面有哪些列和列的类型是什么。
DataFrame和RDD的优缺点
RDD
优点
、编译时类型安全
也就是说后期开发代码的时候会进行类型的检查
、具有面向对象编程的风格
可以通过对象调用方法
缺点
、数据序列化和反序列化性能开销很大。
数据在进行网络传输的时候，先要进行序列化，后续又需要进行反序列化这些操作都是在内存中进行
、频繁的对象的创建会带来GC(jvm内存回收机制：垃圾回收)，GC处理的时候，其他进程都会暂停。
DataFrame
优点
DataFrame引入了schema和off-heap
、schema就是对于DataFrame数据的结构信息进行描述
在进行数据序列化的时候，就不需要针对于数据的结构进行序列化了，直接把数据本身进行序列化就可以了，减少数据的网络传输。
解决了RDD在数据进行序列化和反序列化性能开销很大这个缺点。
、off-heap不在使用jvm堆中的内存来构建大量的对象，而是直接使用操作系统层面上的内存
解决了RDD在堆中频繁创建大量的对象造成GC这个缺点。
缺点
DataFrame引入了schema和off-heap解决了RDD的缺点，同时也丢失了RDD的优点
、编译时不在是类型安全
、也不具备面向对象编程这种风格
创建DataFrame的几种方式
读取文本文件
val df=spark.read.text("/person.txt")
df.printSchema
df.show
读取json文件
val df=spark.read.json("/people.json")
df.printSchema
df.show
读取parquet文件
val df=spark.read.parquet("/users.parquet")
df.printSchema
df.show
DataSet
DataSet是分布式的数据集合，Dataset提供了强类型支持，也是在RDD的每行数据加了类型约束。DataSet是在Spark1.6中添加的新的接口。它集中了RDD的优点（强类型和可以用强大lambda函数）以及使用了Spark SQL优化的执行引擎。
DataSet和DataFrame的转换
1、DataFrame转换成DataSet
val ds=df.as[强类型]
2、DataSet转换成DataFrame
val df=ds.toDF
创建DataSet的几种方式
通过一个已经存在的scala集合去构建
val ds=spark.createDataset(List(1,2,3,4))
val ds=List(1,2,3,4).toDS
通过一个已经存在的RDD去构建
val ds=spark.createDataset(sc.textFile("/person.txt"))
DataFrame转换成DataSet
val ds=df.as[强类型]
通过一个已经存在DataSet调用对应的方法去生成一个新的DataSet
val ds1=ds.map(x =>"itcast:"+x)
http://spark.apache.org/docs/2.1.3/api/scala/index.html#org.apache.spark.sql.Dataset
