spark将pg数据库迁移到hive，spark往hive写数据

如何配置hive,使hive能使用spark引擎

Map Join Spark SQL默认对join是支持使用broadcast机制将小表广播到各个节点上，以进行join的。但是问题是，这会给Driver和Worker带来很大的内存开销。因为广播的数据要一直保留在Driver内存中。

Hive可以使用Apache Tez执行引擎而不是Map-reduce引擎。

在hive-site-xml中把hive.execution.engine配置换成spark，在hive所在节点安装Spark并配置环境变量。外部远程登录或者hive命令行模式就会执行spark任务了。

配置参数为spark.executor.memory和spark.executor.cores。如果要最大化使用core，建议将core设置为6，且满足core的个数尽量可以整除yarn资源核数。

Spark/Flink可以使用Hive的metastore，但是Hive无法通过Hive metastore中的Spark/Flink表直接查询数据。为了解决这个问题，可以配置使用Hive sync。在Spark/Flink操作表的时候，自动同步Hive的元数据。

相关问答

Q1: 大数据运算的三种引擎是什么?有什么区别?

1、BI目前实现的是收集数据，提供反馈，辅助决策的能力，以数据为基础的，面向数据管理和分析，属被动角色。而AI则辅以大数据，算法等得到更有价值的信息，实现收集+预测的能力，更多的是主动角色。

2、①java：一门面向对象的计算机编程语言，具有功能强大和简单易用两个特征。②spark：专为大规模数据处理而设计的快速通用的计算引擎。③SSM：常作为数据源较简单的web项目的框架。

3、MySQL常见的三种存储引擎为InnoDB、MyISAM和MEMORY。其区别体现在事务安全、存储限制、空间使用、内存使用、插入数据的速度和对外键的支持。具体如下：事务安全：InnoDB支持事务安全，MyISAM和MEMORY两个不支持。

Q2: SparkSQL同步Hbase数据到Hive表

很多早期用户还会在数据仓库分析数据之前，采用Hadoop集群和NoSQL数据库存储数据。这些应用使用起来都很简单，就像用Hadoop分布式文件系统(HDFS)存储数据一样，也可以通过Hive，HBase，Cassandra和其他NoSQL技术建立更复杂的关联。

Spark SQL与Hive On Spark是不一样的。Spark SQL是Spark自己研发出来的针对各种数据源，包括Hive、JSON、Parquet、JDBC、RDD等都可以执行查询的，一套基于Spark计算引擎的查询引擎。

key=value 来设定。对于 SQLContext，唯一可用的方言是 “sql”，它是 Spark SQL 提供的一个简单的 SQL 解析器。在 HiveContext 中，虽然也支持”sql”，但默认的方言是 “hiveql”，这是因为 HiveQL 解析器更完整。

Iceberg官网定义：Iceberg是一个通用的表格式(数据组织格式)，提供高性能的读写和元数据管理功能。 Iceberg 的 ACID 能力可以简化整个流水线的设计，传统 Hive/Spark 在修正数据时需要将数据读取出来，修改后再写入，有极大的修正成本。

Q3: Hive和Spark当中对小文件的处理

第一种，将小文件合并成一个大文件 第二种，使用SparkContext中提供： wholeTextFiles 方法，专门读取小文件数据。

不论是Hive还是Spark SQL在使用过程中都可能会遇到小文件过多的问题。小文件过多最直接的表现是任务执行时间长，查看Spark log会发现大量的数据移动的日志。

每天调度去合并 （-15天 业务周期） 3）小文件的危害： a.撑爆NN。 b.影响hive、spark的计算。占用集群计算资源 如果是伪分布式，那么副本数只能为一。

第一，Spark SQL在Hive兼容层面仅依赖HQL parser、Hive Metastore和Hive SerDe。也就是说，从HQL被解析成抽象语法树（AST）起，就全部由Spark SQL接管了。执行计划生成和优化都由Catalyst负责。

关于spark将pg数据库迁移到hive和spark往hive写数据的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。