正文
spoonjava代码 spoon java
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
java 怎么设置kettle数据库
java调用kettle数据库类型资源库中的ktr
此问题在1个月前或许已经接触，单是一直木有怎么用到，就被耽搁至今；问题的解决要来源于网络，其实我还想说问题的解决更多的是要靠我们自己的思想，不过多的言情，我们接下来直接进入主题吧！
环境：kettle-spoon 4.2.0,oracle11g，myeclipse6.5，sqlserver2008
前提：在kettle图形界面spoon里面已经做好了一个ktr转换模型，此时我的ktr信息如下图：
Step1：在myeclipse创建project，导入kettle集成所需要的包
Step2:重点解析与code源码
//定义ktr名字
private static String transName = "test1";
//初始化kettle环境
KettleEnvironment.init();
//创建资源库对象，此时的对象还是一个空对象
KettleDatabaseRepository repository = new KettleDatabaseRepository();
//创建资源库数据库对象，类似我们在spoon里面创建资源库
DatabaseMeta dataMeta =
new DatabaseMeta("enfo_bi","Oracle","Native","ip","sid","port","username","password");
//资源库元对象,名称参数，id参数，描述等可以随便定义
KettleDatabaseRepositoryMeta kettleDatabaseMeta =
new KettleDatabaseRepositoryMeta("enfo_bi", "enfo_bi", "king description",dataMeta);
//给资源库赋值
repository.init(kettleDatabaseMeta);
//连接资源库
repository.connect("admin","admin");
//根据变量查找到模型所在的目录对象
RepositoryDirectoryInterface directory = repository.findDirectory("/enfo_worker/wxj");
//创建ktr元对象
TransMeta transformationMeta = ((Repository) repository).loadTransformation(transName, directory, null, true, null ) ;
//创建ktr
Trans trans = new Trans(transformationMeta);
//执行ktr
trans.execute(null);
//等待执行完毕
trans.waitUntilFinished();
上面的两个步骤才可以确定是资源库中的那个路径下的ktr和我们用命令执行一样的-dir ,-tran -job
附上源码：
package kettle;
import org.pentaho.di.core.KettleEnvironment;
import org.pentaho.di.core.database.DatabaseMeta;
import org.pentaho.di.core.exception.KettleException;
import org.pentaho.di.repository.Repository;
import org.pentaho.di.repository.RepositoryDirectoryInterface;
import org.pentaho.di.repository.kdr.KettleDatabaseRepository;
import org.pentaho.di.repository.kdr.KettleDatabaseRepositoryMeta;
import org.pentaho.di.trans.Trans;
import org.pentaho.di.trans.TransMeta;
/**
* pTitle: java调用kettle4.2数据库型资料库中的转换/p
* pDescription: /p
* pCopyright: Copyright () 2012/p
*/
public class ExecuteDataBaseRepTran {
private static String transName = "test1";
public static void main(String[] args) {
try {
//初始化kettle环境
KettleEnvironment.init();
//创建资源库对象，此时的对象还是一个空对象
KettleDatabaseRepository repository = new KettleDatabaseRepository();
//创建资源库数据库对象，类似我们在spoon里面创建资源库
DatabaseMeta dataMeta =
new DatabaseMeta("enfo_bi","Oracle","Native","ip","sid","port","username","password");
//资源库元对象,名称参数，id参数，描述等可以随便定义
KettleDatabaseRepositoryMeta kettleDatabaseMeta =
new KettleDatabaseRepositoryMeta("enfo_bi", "enfo_bi", "king description",dataMeta);
//给资源库赋值
repository.init(kettleDatabaseMeta);
//连接资源库
repository.connect("admin","admin");
//根据变量查找到模型所在的目录对象,此步骤很重要。
RepositoryDirectoryInterface directory = repository.findDirectory("/enfo_worker/wxj");
//创建ktr元对象
TransMeta transformationMeta = ((Repository) repository).loadTransformation(transName, directory, null, true, null ) ;
//创建ktr
Trans trans = new Trans(transformationMeta);
//执行ktr
trans.execute(null);
//等待执行完毕
trans.waitUntilFinished();
if(trans.getErrors()0)
{
System.err.println("Transformation run Failure!");
}
else
{
System.out.println("Transformation run successfully!");
}
} catch (KettleException e) {
e.printStackTrace();
}
}
}
相关问答
Q1: Kettle如何取得指定范围的随机数
kettle中有一个控件叫“生成随机数”spoonjava代码，里面可以生成随机数字，随机整数，但是好像没有能指定范围spoonjava代码的地方。
如果想实现，可以借助“java代码”来实现，以下是我spoonjava代码的程序，经过了测试可以运行，希望对你有所帮助。
首先建立一个转换
自定义常量数据
java代码
import java.util.Random;
import java.io.File;
public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws Exception
{
Object[] r = getRow();
if (r == null) {
setOutputDone();
return false;
}
Random rand = new Random();
int a= rand.nextInt(21)+5;
String randNum = String.valueOf(a);
get(Fields.Out, "randNum").setValue(r,randNum);
putRow(data.outputRowMeta, r);
return true;
}
设置变量
写日志
配置完毕后运行结果
因为不知道你的范围，我程序区的范围是[5,25]，因此JAVA代码中为
int a= rand.nextInt(21)+5
百度了下随机数，你的范围请根据以下规则来写
int a =rand.nextInt(MAX - MIN + 1) + MIN; // a 将被赋值为一个 MIN 和 MAX 范围内的随机数
纯人工码字测试，有财富值希望追加，谢谢采纳
Q2: kettle中java脚本怎么使用
完整例子如下：
Java代码
String firstnameField;
String lastnameField;
String nameField;
public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException
{
// 获取输入
//
Object[] r = getRow();
// 输入为空，直接false
//
if (r == null) {
setOutputDone();
return false;
}
// 处于性能考虑，parameter只查一次
//
if (first) {
firstnameField = getParameter("FIRSTNAME_FIELD");
lastnameField = getParameter("LASTNAME_FIELD");
nameField = getParameter("NAME_FIELD");
first=false;
}
// 用 createOutputRow() 来保证output的数组够大，能够装下任何新的域
//
Object[] outputRow = createOutputRow(r, data.outputRowMeta.size());
String firstname = get(Fields.In, firstnameField).getString(r);
String lastname = get(Fields.In, lastnameField).getString(r);
// Set the value in the output field
//
String name = firstname+" "+lastname;
get(Fields.Out, nameField).setValue(outputRow, name);
// putRow will send the row on to the default output hop.
//
putRow(data.outputRowMeta, outputRow);
return true;
}
Q3: kettle运行spoon.bat弹出命令行后一直无反应
1.Kettle无法启动解决方法spoonjava代码：
估计是jdk环境变量没配置好spoonjava代码，百度、qq找了很多地方，都不行，终于在一个博客里发现了解决方法：
只要修改一下spoon.bat里内存配置：
if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms2058m" "-Xmx1024m" "-XX:MaxPermSize=256m"
改为
if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms512m" "-Xmx512m" "-XX:MaxPermSize=256m"
修改之后保存，重新启动spoon.bat，奇迹出现了，Kettle真spoonjava代码的启动成功了！
2.Kettle无法启动原因分析：
在QQ群里，有大神问：是否电脑硬件配置太低了？spoonjava代码我：我的可是华硕i5CPU，4G大内存啊好不？大神：人家玩Kettle的都3位数内存哦，我：(⊙﹏⊙)b。。。
百度一下，还真是如此，理论上主要有两种原因：
1) 参数中-Xms的值大于-Xmx，或者-XX:PermSize的值大于-XX:MaxPermSize；
2) -Xmx的值和-XX:MaxPermSize的总和超过了JVM内存的最大限制，比如当前操作系统最大内存限制，或者实际的物理内存等等。
看起来，是由于本机内存被占用过多，而JVM参数设置过大，导致JVM无法启动，故spoon.bat运行后，Kettle无法启动啊，额，玩大数据分析还得要银子换电脑吗？
3.JVM（java虚拟机）相关概念
在排查kettle问题时，用到了几个概念，都贴在这里吧。
1)堆(Heap)和非堆(Non-heap)内存
JVM主要管理两种类型的内存：堆和非堆。
简单来说堆就是Java代码可及的内存，是留给开发人员使用的；非堆就是JVM留给自己用的，
2)JVM的几个参数：
-Xms2058mJVM初始分配的堆内存
-Xmx1024mJVM最大允许分配的堆内存，按需分配
-XX:PermSize=128MJVM初始分配的非堆内存
-XX:MaxPermSize=256MJVM最大允许分配的非堆内存，按需分配
3)Xms Xmx PermSize MaxPermSize 区别
Q4: kettle怎么实现重复抽取更新数据
插入/更新
1.你是否遇到了需要将mysql数据库中的所有表与数据迁移到Oracle。
2.你是否还在使用kettle重复的画着：表输入-表输出、创建表，而烦恼。下面为你实现了一套通用的数据库迁移流程。技术引导：实现之初，在kettle提供的例子中找到了一个类似的（samples\jobs\processalltables）。通过相关改造，终于达到目标。实现过程解剖：整套流程分为：2个job，4个trans。使用到的Trans插件：表输入、字段选择、复制记录到结果、从结果获取记录、设置变量、自定义java脚本、表输出。1.大job。2.要迁移的源库表名称获取，并设置到结果集，为下面的job使用。
3.配置子job为前面的每一条记录（即每个表）执行一次该子job4.下面是子job。5.获取记录中的表名称，并设置为到变量。6.读取当前表的结果信息，并在目标库中创建表（这个是难点）。因为只需要获取抓取要抽取表的结构信息，故在sql后面加上where1=2。下面代码是创建目标库表。Java代码publicbooleanprocessRow(StepMetaInterfacesmi,StepDataInterfacesdi)throwsKettleException{//First,getarowfromthedefaultinputhop//Object[]r=getRow();org.pentaho.di.core.database.DatabaseMetadbmeta=null;java.util.Listlist=getTrans().getRepository().readDatabases();//3.x中获取资源库的所有数据库连接信息用getDatabases();if(list!=null!list.isEmpty()){for(inti=0;i
Q5: 如何使用kettle源码更改spoon的东西
1.2. 编译源码
将项目加载到eclipse
将kettle项目拷贝到eclipse的workspace目录下，在eclipse中新建java project，项目名称和你拷贝过来的kettle文件夹名称一致
项目导入到eclipse中会出现一个错误，如下图，将这个文件的源码全部注释掉
编译
打开build.xml, 在右边的。Outline 点击kettle-run as -ant build
第一次编译的时候需要从网上下载几个文件，放在C:\Documents and Settings\Administrator\.subfloor，网络不好的话下载会比较慢，也可以直接文件放在C:\Documents and Settings\Administrator\下。编译完成后将bin目录下的.bat文件拷贝到Kettle目录下点击Spoon.bat运行，运行成功代表编译已近通过
用源码运行Spoon
Kettle源码工程本身可能是在linux64位机器上调试的，swt配置是linux64的库，所有在运行源码前需要修改成win32的swt，步骤如下：工程à属性àJava Build Pathàlibrariesàadd jars
然后将linux64的SWT库删除
最后打开src-uiàorg.pentaho.di.ui.spoonàSpoon.java， Run As àjava application
二．源码分析
2.1. 修改kettle界面
修改初始化界面
打开package org.pentaho.di.ui.spoon的Spoon.Java，找到main函数，该main函数为Spoon工具的入口，找到如下语句
Splash splash = new Splash(display);
该语句为spoon初始化显示的界面，跳到定义Splash.java，下面函数
canvas.addPaintListener(new PaintListener() {
publicvoid paintControl(PaintEvent e) {
String versionText = BaseMessages.getString(PKG, "SplashDialog.Version") + " " + Const.VERSION; //$NON-NLS-1$ //$NON-NLS-2$
StringBuilder sb = new StringBuilder();
String line = null;
try {
BufferedReader reader = new BufferedReader(newInputStreamReader(Splash.class.getClassLoader().getResourceAsStream("org/pentaho/di/ui/core/dialog/license/license.txt")));//$NON-NLS-1$
while((line = reader.readLine()) != null) {
sb.append(line + System.getProperty("line.separator")); //$NON-NLS-1$
}
} catch (Exception ex) {
sb.append(""); //$NON-NLS-1$
Log.warn(BaseMessages.getString(PKG, "SplashDialog.LicenseTextNotFound")); //$NON-NLS-1$
}
String licenseText = sb.toString();
e.gc.drawImage(kettle_image, 0, 0);
// If this is a Milestone or RC release, warn the user
if (Const.RELEASE.equals(Const.ReleaseType.MILESTONE)) {
versionText = BaseMessages.getString(PKG, "SplashDialog.DeveloperRelease") + " - " + versionText; //$NON-NLS-1$ //$NON-NLS-2$
drawVersionWarning(e);
} elseif (Const.RELEASE.equals(Const.ReleaseType.RELEASE_CANDIDATE)) {
versionText = BaseMessages.getString(PKG, "SplashDialog.ReleaseCandidate") + " - " + versionText; //$NON-NLS-1$//$NON-NLS-2$
}
elseif (Const.RELEASE.equals(Const.ReleaseType.PREVIEW)) {
versionText = BaseMessages.getString(PKG, "SplashDialog.PreviewRelease") + " - " + versionText; //$NON-NLS-1$//$NON-NLS-2$
}
elseif (Const.RELEASE.equals(Const.ReleaseType.GA)) {
versionText = BaseMessages.getString(PKG, "SplashDialog.GA") + " - " + versionText; //$NON-NLS-1$//$NON-NLS-2$
}
Font verFont = new Font(e.display, "Helvetica", 11, SWT.BOLD); //$NON-NLS-1$
e.gc.setFont(verFont);
e.gc.drawText(versionText, 290, 205, true);
// try using the desired font size for the license text
int fontSize = 8;
Font licFont = new Font(e.display, "Helvetica", fontSize, SWT.NORMAL); //$NON-NLS-1$
e.gc.setFont(licFont);
// if the text will not fit the allowed space
while (!willLicenseTextFit(licenseText, e.gc)) {
fontSize--;
licFont = new Font(e.display, "Helvetica", fontSize, SWT.NORMAL); //$NON-NLS-1$
e.gc.setFont(licFont);
}
e.gc.drawText(licenseText, 290, 290, true);
}
});
1. 修改背景图片
找到ui/image/下面的kettle_splash.png，替换该图片
2. 修改版本信息
找到e.gc.drawText(versionText, 290, 205, true); 改为e.gc.drawText("海康威视数据交换平台V1.0", 290, 205, true);
3. 修改下面的描述性文字
找到e.gc.drawText(licenseText, 290, 290, true);改为e.gc.drawText("作者：海康", 290, 290, true);
4. 预览效果
spoonjava代码的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于spoon java、spoonjava代码的信息别忘了在本站进行查找喔。
