hive安装配置mysql，hive安装配置以mysql80为元数据库

Hive是什么?

1、n. 蜂箱； 蜂房； 蜂群； 一箱蜜蜂； 忙碌的场所； 繁忙的地方；v. 把蜜蜂收入蜂箱； 贮备； 聚居； 从团体中分出（如总公司以一部分商品分派给分公司生产）；[例句]The hive is made of wood.这蜂箱是用木材做的。

2、hive的中文意思为蜂房；蜂箱；一箱蜜蜂；蜂群；忙碌的场所；繁忙的地方；把蜜蜂收入蜂箱。hive可作动词和名词使用。英式读法[hav]，美式读法[hav]。

3、名词（可数），（人造的）蜂房，注意bee hive虽然可以表示天然的蜜蜂巢，但是使用honeycomb会减少歧义的几率。同时honeycomb还是google的android系统的一个版本代号。

4、hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

相关问答

Q1: hive的数据存储在哪里

1、Hive的元数据存储在RDBMS中，一般常用MySQL和Derby。默认情况下，Hive元数据保存在内嵌的Derby数据库中，只能允许一个会话连接，只适合简单的测试。

2、其次，Hive 中所有的数据都存储在 HDFS 中，Hive 中包含以下数据模型：表(Table)，外部表(External Table)，分区(Partition)，桶(Bucket)。

3、Hive 的元数据存储在RDBMS中，一般常用 MySQL 和 Derby。默认情况下，Hive元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。

4、分区表 分区表是一种内部表。分区表通过指定一个或多个partition key，决定数据存放方式，进而优化数据的查询。每个表可以指定多个partition key，每个partition在hive中以文件夹的形式存在。

Q2: 如何配置hive,使hive能使用spark引擎

1、我们公司yarn node节点的可用资源配置为：单台node节点可用资源数：核数33cores、内存110G。Hive on Spark任务的基础配置，主要配置对象包括：Executor和Driver内存，Executor配额，任务并行度。

2、Map Join Spark SQL默认对join是支持使用broadcast机制将小表广播到各个节点上，以进行join的。但是问题是，这会给Driver和Worker带来很大的内存开销。因为广播的数据要一直保留在Driver内存中。

3、(4)HDFS Federation：HDFS联盟，使用多个namenode节点管理文件。 除此之外，我们还可以通过设置hive的参数来合并小文件。

4、在hive-site-xml中把hive.execution.engine配置换成spark，在hive所在节点安装Spark并配置环境变量。外部远程登录或者hive命令行模式就会执行spark任务了。

hive安装配置mysql的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于hive安装配置以mysql80为元数据库、hive安装配置mysql的信息别忘了在本站进行查找喔。