
正文
kettle抽取postgresql太慢,kettle抽取oracle数据
提示:扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
kettle抽取交换mysql数据库数据,抽取中途会停滞不动
Kettle学习一:简单的表输入输出 创建两个DB连接,test和test1,分别连接两个不同的数据库 拖拽表输入,字段转换,表输出图标到界面,并住shift键连接它们 表输入:用于查询出一个数据表中需要搬运的数据。
数据库机制不一样,整个库导入是不可能的。如果数据不多,你用 plsql developper 的tool-export tables 选择sql insert导出数据好了。这将生成一般的sql insert 语句。
因为只需要获取抓取要抽取表的结构信息,故在sql后面加上where1=2。下面代码是创建目标库表。
相关问答
Q1: kettle大量抓取时oracle很慢,怎么解决
原因有很多中可能,首先数据库应该对数据量大的表做index优化;其次检查你的sql语句是否用了最合适的方法,在多表查询时,where 之后的条件先接主键关联和int、long 型的条件,再解字符型,最后是folat型。
在硬件基本符合要求的情况下,通过索引检索,如果结果集只有几十条数据的话,一般都可以降低到毫秒级的处理速度。另外如果确实数据量太大,千万级以上的话,可以考虑建分区表,这样在执行DML操作时可有效提升性能,降低IO。
解决办法:你需要对你的表根据查询条件设计相应的索引,有时候根据需要可能一个表你需要建立好几个索引都是有可能的。然后再执行,你会发现原来要30几秒的现在零点几秒就可以搞定了,这跟使用游标没什么关系。
点击Test按钮,测试连接是否成功。连接成功后,就可以在Trans中使用Oracle数据库了。注意事项:需要将Oracle JDBC驱动的jar包复制到Kettle的lib目录下。
Q2: kettle提取postgresql数据
1、kettle影像分割和栅格统计,如kettle数据转换图所示“表输入”,sql见步骤3;将提取出的数据保存到文件中。
2、Kettle学习一:简单的表输入输出 创建两个DB连接,test和test1,分别连接两个不同的数据库 拖拽表输入,字段转换,表输出图标到界面,并住shift键连接它们 表输入:用于查询出一个数据表中需要搬运的数据。
3、SQL语句 select * frm table 此时你已经可以获取表中所有数据,根据你后续的需要,再去执行后续相关的操作。
kettle抽取postgresql太慢的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于kettle抽取oracle数据、kettle抽取postgresql太慢的信息别忘了在本站进行查找喔。






