sqoop导出hive数据到pg，sqoop导出hive数据到mysql失败

sqoop:导出MySQL数据至Hive时,Null值处理

1、导出数据到MySQL，当然数据库表要先存在，否则会报错，此错误的原因为sqoop解析文件的字段与MySql数据库的表的字段对应不上造成的。因此需要在执行的时候给sqoop增加参数，告诉sqoop文件的分隔符，使它能够正确的解析文件字段。

2、场景 使用sqoop从MySQL导出数据至Hive时，如果数据中包含hive指定的列分隔符，如\001 或\t，那么在Hive中就会导致数据错位；如果数据中包含换行符\n，那么就会导致原先的一行数据，在Hive中变成了两行。

3、Sqoop提供了简单易用的命令行接口，用于在关系型数据库（如MySQL、Oracle）和Hive之间传输数据。使用Sqoop可以处理大规模、高吞吐量的数据导入，并支持增量导入和并行导入。

4、sqoop2的缺点，架构稍复杂，配置部署更繁琐。

5、hdfs显示但是hive里面没有的话，很可能hive配置使用的是自带的deby数据库。hive的配置文件弄好，如果用sqoop的话，把hive的配置文件hive-site.sh拷贝一份到sqoop的conf目录下，让sqoop知道保存的数据是到mysql元数据库的hive。

6、sqoop从mysql向hive中导数据，报数据库访问被拒绝。但诡异的是，sqoop的报错是提示连接本机的mysql被拒绝了，并不是提示连接目标数据所在的mysql被拒绝。我的还连了zookeeper，还会提示连接所有的zookeeper主机的mysql被拒绝。

相关问答

Q1: 如何利用sqoop将hive数据导入导出数据到mysql

hadoop的每个节点下lib文件夹中要有mysql的jar包和sqoop的jar包。在HDFS的某个目录上的数据格式和MYSQL相应的表中的字段数量一致。

.2-CDH3Bjar复制到sqoop-0-CDH3B4/lib中。sqoop导入mysql数据运行过程中依赖mysql-connector-java-.jar所以你需要下载mysql-connector-java-.jar并复制到sqoop-0-CDH3B4/lib中。

大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中，再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中。今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。

输入sqoop import 的目录在哪里？如果在/usr/sqoop下输入的命令，那么在/usr/sqoop下输入hive登入，然后show tables查看。

Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，直接导入Hive会把null识别为字符串，为了保证数据两端的一致性。在导出数据时采用--input-null-string和--input-null-non-string两个参数。

Q2: sqoop支持从mysql导出到oracle吗

1、可能因为工作需要经常会需要在不同的之前转，下面我们来看看关于如何将MySQL数据迁移到Oracle 吧。因为之前项目是使用数据库的，现在因为新公司要求使用oracle（公司大得很），不得不尝试将以前项目进行迁移。

2、Oracle SQL Developer 融入了迁移支持，它包括重新开发的特性并且极大地扩展了原来的 Oracle 迁移工作台的功能和可用性，可以将 Microsoft Access、Microsoft SQL Server 和 MySQL 数据库迁移到 Oracle。

3、sqldev_omwb.html这里详细介绍了将 Microsoft Access、Microsoft SQL Server 和 MySQL 数据库迁移到 Oracle。如果你也像我一样懒，那么可以略去文字，直奔演示和 Viewlet 大家可以试试。

4、可以将一个关系型数据库（例如 ： MySQL ，Oracle ，Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。所以sqoop可以支持大多数的传统关系型数据库。如：Mysql、Oracle、Postgres等。

Q3: 如何用Sqoop将数据导入到一个分区的Hive的表中

一种是在Hive中手动地使用CREAT命令创建出表格，然后再SELECT一个，会发现表里有数据了。因此笔者猜测（只是猜测）可能是因为导入之后表格的元数据没有写入到Hive中。

Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，直接导入Hive会把null识别为字符串，为了保证数据两端的一致性。在导出数据时采用--input-null-string和--input-null-non-string两个参数。

结果如下 即说明sqoop已经可以正常使用了。下面，要将mysql中的数据导入到hadoop中。

使用HiveQL加载数据相对简单，适用于较小规模的数据集。例如，使用`LOAD DATA INPATH`命令可以将数据从HDFS中导入到Hive表中。

Q4: 怎么通过sqoop将hdfs上数据导入到mysql

sqoop的连接性。这个组件(mysql applier for hadoop)的复制是通过连接mysql主服务，一旦二进制日志被提交，就读取二进制日志事务，并且把它们写到hdfs.这个组件使用libhdfs提供的api，一个c库操作hdfs中的文件。

开启自动连接。sqoop默认连接本地metastore。注释这个配置会开启自动连接。

你是想把hive表的某一个分区导入到mysql吗？hive的分区对应到HDFS就是一个目录，所以你可用--direct指定目录的方式来导出数据。

sqoop2的缺点，架构稍复杂，配置部署更繁琐。

Q5: 通过sqoop工具从hive仓库中导出数据到mysql表中,只有部分数据导出,是啥...

1、输入sqoop import 的目录在哪里？如果在/usr/sqoop下输入的命令，那么在/usr/sqoop下输入hive登入，然后show tables查看。

2、你输入sqoop import 的目录在哪里？如果在/usr/sqoop下输入的命令，那么在/usr/sqoop下输入hive登入，然后show tables查看。

3、运行环境 centos 6 hadoop hive sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs，hive之间数据导入导出的一个工具。

sqoop导出hive数据到pg的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于sqoop导出hive数据到mysql失败、sqoop导出hive数据到pg的信息别忘了在本站进行查找喔。