kettle插入到postgresql慢，kettle database join

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

用kettle将mysql数据导入到hive中为什么执行效率很低

数据库机制不一样，整个库导入是不可能的。如果数据不多，你用 plsql developper 的tool-export tables 选择sql insert导出数据好了。这将生成一般的sql insert 语句。

由于 Hive 主要用来处理非常大的数据，运行过程由于通常要经过 MapReduce 的过程，因此不像 MySQL 一样很快出结果。

不写入到hive表的原因在于，binlog的数据结构是不固定的，而hive的结构相对是比较固定的。如果要写入到hive的话，就需要将不同的表的binlog写入到不同的hive表中，这个维护成本太高了。

sqoop导入mysql中表不需要手动创建。连接到hive的默认数据库后会自动创建的。

Q1: kettle有什么特点

Kettle 中文名称叫水壶，它凭借图形化，拖放式设计环境以及可扩展、数据集成等特点，越来越成为组织的选择。

Kettle：在 GUI 里有数据质量特性，可以手工写 SQL 语句、java脚本、正则表达式来完成数据清洗。监控：Talend：有监控和日志工具 Kettle：有监控和日志工具连接性：Talend：各种常用数据库，文件，web service。

Pentaho提供了两个 Kettle 版本，一个是开源的社区版(CE)，另一个是企业版(EE)，这是一个商业软件。企业版提供了更多的功能。

Kettle Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。

Q2: kettle提取postgresql数据

1、kettle影像分割和栅格统计，如kettle数据转换图所示“表输入”，sql见步骤3；将提取出的数据保存到文件中。

2、Kettle学习一：简单的表输入输出创建两个DB连接，test和test1，分别连接两个不同的数据库拖拽表输入，字段转换，表输出图标到界面，并住shift键连接它们表输入：用于查询出一个数据表中需要搬运的数据。

3、SQL语句 select * frm table 此时你已经可以获取表中所有数据，根据你后续的需要，再去执行后续相关的操作。

4、首先利用kettle自动生成测试数据：主要生成UUID和当前系统时间到timejob表中（每隔2s执行一次），我们后续的操作都是对这张表中的数据进行一个备份。

5、Kettle Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle的Spoon有丰富的Steps可以组装开发出满足多种复杂应用场景的数据集成作业，方便实现全量、增量数据同步。

6、Kettle是一款开源的ETL工具，可以用于数据抽取、转换和加载。下面是连接Oracle数据库的步骤：下载并安装Oracle JDBC驱动，可以从Oracle官网下载。启动Spoon，新建一个Trans。点击左侧的Database，选择Oracle。

Q3: kettle大量抓取时oracle很慢,怎么解决

1、原因有很多中可能，首先数据库应该对数据量大的表做index优化；其次检查你的sql语句是否用了最合适的方法，在多表查询时，where 之后的条件先接主键关联和int、long 型的条件，再解字符型，最后是folat型。

2、在硬件基本符合要求的情况下，通过索引检索，如果结果集只有几十条数据的话，一般都可以降低到毫秒级的处理速度。另外如果确实数据量太大，千万级以上的话，可以考虑建分区表，这样在执行DML操作时可有效提升性能，降低IO。

3、解决办法：你需要对你的表根据查询条件设计相应的索引，有时候根据需要可能一个表你需要建立好几个索引都是有可能的。然后再执行，你会发现原来要30几秒的现在零点几秒就可以搞定了，这跟使用游标没什么关系。

4、点击Test按钮，测试连接是否成功。连接成功后，就可以在Trans中使用Oracle数据库了。注意事项：需要将Oracle JDBC驱动的jar包复制到Kettle的lib目录下。

关于kettle插入到postgresql慢和kettle database join的介绍到此就结束了，不知道你从中找到你需要的信息了吗？如果你还想了解更多这方面的信息，记得收藏关注本站。