mysql导数据到hive，mysql导入数据到hive失败

关于Mysql元数据如何生成Hive建表语句注释脚本

注：其他关系型数据库如：oracle 可以通过相同的思路，读取元数据，修改脚本语法实现。

在MySQL数据库中，字段或列的注释是用属性comment来添加。创建新表的脚本中，可在字段定义脚本中添加comment属性来添加注释。

表示hdfs文件存放的格式，默认是TEXTFILE，文本格式，可以直接打开。按照参考的网页，建表。注意，建表的时候，已经指明了各个字段的类型，所以在进行分割的时候就很容易了。

简单描述表结构，字段类型desc tabl_name；显示表结构，字段类型，主键，是否为空等属性，但不显示外键。

EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。

元数据（Meta Data）是关于数据的数据，当人们描述现实世界的现象时，就会产生抽象信息，这些抽象信息便可以看作是元数据，元数据主要用来描述数据的上下文信息。

相关问答

Q1: 大数据怎样把数据从mysql导入hive中

1、将MySQL中大量数据导入到Hbase有什么好的方法 ：使用sqoop工具。 在行键选择那里，通过用“”，将需要做行键的多个列写在一起就可以了。 例如要将a和b列同时做行键，那么--hbase-row-key a，b就可以了。

2、mysql同步数据到hive大部分公司目前都是走的jdbc的方式。这种方式有两个好处：也有不好的地方：这一步最主要的细节是将mysql库的所有binlog数据全部打入一个kafka topic，格式使用json。

3、想问下原来数据库中的数据会不会有更新和删除，如果有的话，想实时同步到hive中很难。另外即使能实时同步到hive中，hive中分析查询也速度也比较慢的。

4、如果hdfs中是格式化数据的话，可以使用sqoop命令工具来将数据导入到mysql 具体使用方式，你可以网上查找一下，资料蛮丰富的。

5、使用Sqoop导入关系型数据库数据：如果需要将关系型数据库中的数据导入到Hive中，可以使用Sqoop工具。Sqoop提供了简单易用的命令行接口，用于在关系型数据库（如MySQL、Oracle）和Hive之间传输数据。

6、Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，直接导入Hive会把null识别为字符串，为了保证数据两端的一致性。在导出数据时采用--input-null-string和--input-null-non-string两个参数。

Q2: mysql同步数据到hive---binlog方式

想问下原来数据库中的数据会不会有更新和删除，如果有的话，想实时同步到hive中很难。另外即使能实时同步到hive中，hive中分析查询也速度也比较慢的。

Binlog 是 MySQL 通过 Replication 协议用来做主从数据同步的数据，所以它有我们需要写入 Elasticsearch 的数据，并符合对数据同步时效性的要求。

实现两个Mysql数据库之间同步同步原理：MySQL为了实现replication必须打开bin-log项，也是打开二进制的MySQL日志记录选项。

设置同步服务器设置同步Master每个同步服务器都必须设定一个唯一的编号，否则同步就不能正常运行了。

Q3: sqoop从mysql导入到hive为什么0变成null

Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，直接导入Hive会把null识别为字符串，为了保证数据两端的一致性。在导出数据时采用--input-null-string和--input-null-non-string两个参数。

一种是在Hive中手动地使用CREAT命令创建出表格，然后再SELECT一个，会发现表里有数据了。因此笔者猜测（只是猜测）可能是因为导入之后表格的元数据没有写入到Hive中。

由于hive在存储上存在以上情况，当把数据导入mysql会导致一下问题： 字符长度太小的异常。

hdfs显示但是hive里面没有的话，很可能hive配置使用的是自带的deby数据库。hive的配置文件弄好，如果用sqoop的话，把hive的配置文件hive-site.sh拷贝一份到sqoop的conf目录下，让sqoop知道保存的数据是到mysql元数据库的hive。

场景 使用sqoop从MySQL导出数据至Hive时，如果数据中包含hive指定的列分隔符，如\001 或\t，那么在Hive中就会导致数据错位；如果数据中包含换行符\n，那么就会导致原先的一行数据，在Hive中变成了两行。

Q4: Sqoop从本地MySQL导入到Hive为什么要求Sqoop一定要在HDFS中

Sqoop从本地MySQL导入到Hive为什么要求Sqoop一定要在HDFS中 sqoop导入mysql中表不需要手动创建。连接到hive的默认数据库后会自动创建的。

hive是把数据存储在hdfs上，而mysql数据是存储在自己的系统中；数据格式不同：hive数据格式可以用户自定义，mysql有自己的系统定义格式；数据更新不同：hive不支持数据更新，只可以读，不可以写，而sql支持数据更新。

sqoop的原理比较简单，就是根据用户指定的sql或者字段参数，从数据库中读取数据导入到hive或者hdfs中。也支持基于数据库导出工具导出，不过受限于数据库的版本。在导出的过程中，sqoop会自动切分mapreduce任务。

Q5: Mysql元数据如何生成Hive建表语句注释脚本详解

1、注：其他关系型数据库如：oracle 可以通过相同的思路，读取元数据，修改脚本语法实现。

2、表示hdfs文件存放的格式，默认是TEXTFILE，文本格式，可以直接打开。按照参考的网页，建表。注意，建表的时候，已经指明了各个字段的类型，所以在进行分割的时候就很容易了。

3、首先，选中一个数据库world，为了防止破坏其他的数据库表，这里新建一张数据库表t_people_info，如下图所示。创建t_people_info数据库表，可以查看下表结构，使用SQL语句或直接点击进行查看表结构。

mysql导数据到hive的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于mysql导入数据到hive失败、mysql导数据到hive的信息别忘了在本站进行查找喔。