从oracle的表转到hbase，将oracle数据库的表和数据导出来

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

sqoop命令,oracle导入到hdfs、hbase、hive

使用sqoop导数导到hdfs中从oracle的表转到hbase，使用Hive查询发现数据多了从oracle的表转到hbase，并且有数据错位的现象。源数据中有\n换行符，导致被hive识别为换行符。所以出现了记录多并且数据错位的现象。

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将MySQL中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到Mysql中。参考Index of /docs。

不是权限问题。需要为sqoop配置你使用的hive。找到/sqoop-4/conf下的sqoop-env-template.sh 文件，将这个文件重命名为sqoop-env.sh ；编辑sqoop-env.sh 文件，将你的hive的安装目录配上就OK。

Sqoop是一款用于把关系型数据库中的数据导入到hdfs中或者hive中的工具，当然也支持把数据从hdfs或者hive导入到关系型数据库中。Sqoop也是基于Mapreduce来做的数据导入。

Q1: 如何将Oracle的大宽表(8000w条数据,每条记录280多个字段)导入到hbase...

1、使用sqoop工具。在行键选择那里，通过用“”，将需要做行键的多个列写在一起就可以了。例如要将a和b列同时做行键，那么--hbase-row-key a，b就可以了。

2、第一步，如果要从Oracle实例orcl导出多个dmp文件表，则在打开cmd窗口后，首先设置环境变量以将Oracle实例切换为orcl（设置ORACLE_SID = orcl），然后登录到sqlplus ，如下图所示，然后进入下一步。

3、--SQL Server：这种方法将包保存在任何已注册的SQL Server的MSDB数据库的sysdtspackages表中。如果已经注册了相应的服务器，--这将是最简单的把包移动到另外一个SQL Server上的办法。

4、oracle 的exp/imp命令用于实现对数据库的导出/导入操作； exp命令用于把数据从远程数据库服务器导出至本地，生成dmp文件； imp命令用于把本地的数据库dmp文件从本地导入到远程的Oracle数据库中。

5、答案是：不可能做到！oracle有自己的算法均衡地把数据分散到各个DATAFILE里去。当然如果一个表空间只有一个数据文件，就只能写到这个数据文件里去了。

6、方法使用SQL*Loader 这个是用的较多的方法，前提必须Oracle数据中目的表已经存在。

Q2: 如何从Oracle到hive

1、例如下面的命令可以导入列ID的值大于4的所有记录。

2、说的是Hive，不是HBase。从Oracle里面头导出数据为平面文件后，导入HDFS里面。Hive里面的表结构是要自己手工定的。建表可以自己写个小程序实现，根据oracle字典表和hive的建表规则，每个地方使用hive的情景不同，建表也不同。

3、可以Mac如何连接云服务器上的hive2021-02-0618：24：48首先下载jdbc并解压，进入解压后的目录，将Cloudera_HiveJDBC4_11040.zip解压。

Q3: 怎样将关系型数据表转换至hbase数据表

1、Hive 跑批建表默认第一个字段会作为hbase的rowkey。导入数据将userid插入到列key从oracle的表转到hbase，作为hbase表的rowkey。

2、Put API Put API可能是将数据快速导入HBase表的最直接的方法。但是在导入【大量数据】时不建议使用！但是可以作为简单数据迁移的选择从oracle的表转到hbase，直接写个代码批量处理，开发简单、方便、可控强。

3、Loader仅支持从 Loader是实现FusionInsightHD与关系型数据库、文件系统之间交换数据和文件的数据加载工具。通过Loader，从oracle的表转到hbase我们可以从关系型数据库或文件系统中把数据导入HBase或者Hive、HDFS中。

4、在行键选择那里，通过用“”，将需要做行键的多个列写在一起就可以从oracle的表转到hbase了。例如要将a和b列同时做行键，那么--hbase-row-key a，b就可以从oracle的表转到hbase了。

5、方法1：最基本的数据导入方法。首先通过JDBC将原本关系型数据库中的数据读出到内存中，然后在使用HBase自带的客户端API将数据put到相应的表中。这种方法通用性强，只要写好接口就可以用，但是效率并不高。

关于从oracle的表转到hbase和将oracle数据库的表和数据导出来的介绍到此就结束了，不知道你从中找到你需要的信息了吗？如果你还想了解更多这方面的信息，记得收藏关注本站。