sqoop抽取postgresql，sqoop抽取oracle数据

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

sqoop和kettle的区别

sqoop和flume是基于大数据框架hadoop之上。sqoop抽取元数据，flume是对日志文件的抽取。

Sqoop支持全量数据导入和增量数据导入（增量数据导入分两种，一是基于递增列的增量数据导入（Append方式）。二是基于时间列的增量数据导入（LastModified方式）），同时可以指定数据是否以并发形式导入。

kettle可以接受许多文件类型作为输入，还可以通过JDBC，ODBC连接到40多个数据库，作为源或目标。社区版本是免费的，但提供的功能比付费版本少。XXL-JOBXXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。

数据存储：Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。

可视化分析大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

Q1: sqoop抽取13亿数据会花多久

1、sqoop的原理比较简单，就是根据用户指定的sql或者字段参数，从数据库中读取数据导入到hive或者hdfs中。也支持基于数据库导出工具导出，不过受限于数据库的版本。在导出的过程中，sqoop会自动切分mapreduce任务。

2、可以将一个关系型数据库（例如： MySQL ，Oracle ，Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。所以sqoop可以支持大多数的传统关系型数据库。如：Mysql、Oracle、Postgres等。

3、sqoop是一个能把数据在关系型数据库和HDFS之间互相传输的工具。在这里，我写一下用java程序来实现sqoop把数据从HDFS写入到MYSQL。在接触sqoop之前，我自己写了一个传输类来实现数据从HDFS到MYSQL。

4、Sqoop是一个在Hadoop和联系数据库服务器之间传送数据的东西，便利大量数据的导入导出工作，其支持多种类型的数据存储软件。Sqoop的中心功能为数据的导入和导出。

Q2: 以下哪些属于集中化大数据平台外部采集数据

Flume是目前常用的开源选择，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。

日志收集：日志系统中定制各类数据发送方，用于收集数据。

数据采集–数据存储–数据处理–数据展现(可视化，报表和监控)大数据采集：就是对数据进行ETL操作，通过对数据进行提取、转换、加载，最终挖掘数据的潜在价值。然后提供给用户解决方案或者决策参考。

体系日志搜集体系对日志数据信息进行日志搜集、搜集，然后进行数据分析，发掘公司事务渠道日志数据中的潜在价值。简言之，搜集日志数据提供离线和在线的实时分析运用。目前常用的开源日志搜集体系为Flume。

Q3: 大数据调度平台分类(Oozie/Azkaban/AirFlow/DolphinScheduler)_百...

Airflow 是 Airbnb 开源的一个用 Python 编写的调度工具。于 2014 年启动，2015 年春季开源，2016 年加入 Apache 软件基金会的孵化计划。

综上所述，Ooize相比Azkaban是一个重量级的任务调度系统，功能全面，但配置使用也复杂(xml)。如果可以在意某些功能的缺失，轻级调度Azkaban是很不错的候选对象。

Apache Airflow是一种功能强大的工具，可作为任务的有向无环图(DAG)编排、任务调度和任务监控的工作流工具。Airflow在DAG中管理作业之间的执行依赖，并可以处理作业失败，重试和警报。

Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

Q4: sqoop支持的数据库有什么?

sqoop主要通过JDBC和关系数据库进行交互。理论上支持JDBC的database都可以使用sqoop和hdfs进行数据交互。

我安装的Hadoop版本是原生hadoop-0.200，SQOOP不支持此版本，可使用CDH3版本hadoop，也可以通过拷贝相应的包到sqoop-0-CDH3B4/lib下，依然可以使用。

Sqoop是一款用于把关系型数据库中的数据导入到hdfs中或者hive中的工具，当然也支持把数据从hdfs或者hive导入到关系型数据库中。Sqoop也是基于Mapreduce来做的数据导入。

原因：sqoop6 只支持 HBase0.1 之前的版本的自动创建 HBase 表的功能。

sqoop抽取postgresql的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于sqoop抽取oracle数据、sqoop抽取postgresql的信息别忘了在本站进行查找喔。