首页 / MYSQL / kettleapi执行转换

kettleapi执行转换

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了kettleapi执行转换，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含11693字，纯文字阅读大概需要17分钟。

内容图文

import java.io.DataOutputStream; import java.io.File; import java.io.FileOutputStream; import java.util.Date; import be.ibridge.kettle.core.Const; import be.ibridge.kettle.core.LogWriter; import be.ibridge.kettle.core.NotePadMeta; import b

import java.io.DataOutputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.util.Date;

import be.ibridge.kettle.core.Const;
import be.ibridge.kettle.core.LogWriter;
import be.ibridge.kettle.core.NotePadMeta;
import be.ibridge.kettle.core.database.Database;
import be.ibridge.kettle.core.database.DatabaseMeta;
import be.ibridge.kettle.core.exception.KettleException;
import be.ibridge.kettle.trans.StepLoader;
import be.ibridge.kettle.trans.Trans;
import be.ibridge.kettle.trans.TransHopMeta;
import be.ibridge.kettle.trans.TransMeta;
import be.ibridge.kettle.trans.step.StepMeta;
import be.ibridge.kettle.trans.step.StepMetaInterface;
import be.ibridge.kettle.trans.step.selectvalues.SelectValuesMeta;
import be.ibridge.kettle.trans.step.tableinput.TableInputMeta;
import be.ibridge.kettle.trans.step.tableoutput.TableOutputMeta;

/**
*
*

Title:
* 本文描述了以下操作：

1）建立一个新的转换（transformation）

2）把转换（transformation）存储为XML文件

3）生成需要在目标表运行的SQL语句

4）执行转换（transformation）

5）删除目标表，可以使测试程序可以反复执行（这一点可根据需要修改）。

Description: TODO 类的功能描述

* @author 洪亮
* @version 1.0
*

------------------------------------------------------------

修改历史

序号日期时间修改人修改原因

1 2006-9-20 下午05:59:06 洪亮创建

*
*/

public class TransBuilderME
{
public static final String[] databasesXML = {
"" +
"" +
"target" +
"192.168.169.220" +
"ORACLE" +
"Native" +
"NMSDB" +
"1521" +
"UCP" +
"UCP" +
"",

"" +
"" +
"source" +
"192.168.169.220" +
"ORACLE" +
"Native" +
"NMSDB" +
"1521" +
"UCP" +
"UCP" +
""
};

/**
* Creates a new Transformation using input parameters such as the tablename to read from.
* @param transformationName The name of the transformation
* @param sourceDatabaseName The name of the database to read from
* @param sourceTableName The name of the table to read from
* @param sourceFields The field names we want to read from the source table
* @param targetDatabaseName The name of the target database
* @param targetTableName The name of the target table we want to write to
* @param targetFields The names of the fields in the target table (same number of fields as sourceFields)
* @return A new transformation
* @throws KettleException In the rare case something goes wrong
*/
public static final TransMeta buildCopyTable(String transformationName, String sourceDatabaseName, String sourceTableName, String[] sourceFields, String targetDatabaseName, String targetTableName, String[] targetFields) throws KettleException
{
LogWriter log = LogWriter.getInstance();

try
{
//
// Create a new transformation...
//传输元信息
TransMeta transMeta = new TransMeta();
transMeta.setName(transformationName);//传输名称

// Add the database connections
for (int i=0;i<databasesXML.length;i++)//数据库配置信息数组
{
DatabaseMeta databaseMeta = new DatabaseMeta(databasesXML[i]);//数据库元信息
transMeta.addDatabase(databaseMeta);//传输元中加入数据库元信息
}

DatabaseMeta sourceDBInfo = transMeta.findDatabase(sourceDatabaseName);//查找源数据库元信息
DatabaseMeta targetDBInfo = transMeta.findDatabase(targetDatabaseName);//查找目标数据库元信息

//
// Add a note
//
String note = "Reads information from table [" + sourceTableName+ "] on database [" + sourceDBInfo + "]" + Const.CR;
note += "After that, it writes the information to table [" + targetTableName + "] on database [" + targetDBInfo + "]";
NotePadMeta ni = new NotePadMeta(note, 150, 10, -1, -1);//注释信息
transMeta.addNote(ni);

//
// create the source step...
//
String fromstepname = "read from [" + sourceTableName + "]";//from步骤名称
TableInputMeta tii = new TableInputMeta();//表输入元数据信息
tii.setDatabaseMeta(sourceDBInfo);//为表输入指定数据库
String selectSQL = "SELECT "+Const.CR;//拼接查询sql语句
for (int i=0;i<sourceFields.length;i++)
{
if (i>0) selectSQL+=", "; else selectSQL+=" ";
selectSQL+=sourceFields[i]+Const.CR;
}
selectSQL+="FROM "+sourceTableName;
tii.setSQL(selectSQL);//设置查询sql语句

StepLoader steploader = StepLoader.getInstance();//？？？

String fromstepid = steploader.getStepPluginID(tii);
//步骤元数据信息
StepMeta fromstep = new StepMeta(log, fromstepid, fromstepname, (StepMetaInterface) tii);
fromstep.setLocation(150, 100);
fromstep.setDraw(true);
fromstep.setDescription("Reads information from table [" + sourceTableName + "] on database [" + sourceDBInfo + "]");
//传输中添加步骤
transMeta.addStep(fromstep);
//
// add logic to rename fields
// Use metadata logic in SelectValues, use SelectValueInfo...
//选择字段（重命名）
SelectValuesMeta svi = new SelectValuesMeta();
svi.allocate(0, 0, sourceFields.length);
for (int i = 0; i < sourceFields.length; i++)
{
//设置源字段和目标字段
svi.getMetaName()[i] = sourceFields[i];
svi.getMetaRename()[i] = targetFields[i];
}

String selstepname = "Rename field names";
//获取步骤插件ID
String selstepid = steploader.getStepPluginID(svi);
//创建步骤元数据信息
StepMeta selstep = new StepMeta(log, selstepid, selstepname, (StepMetaInterface) svi);
selstep.setLocation(350, 100);
selstep.setDraw(true);
selstep.setDescription("Rename field names");
//添加步骤
transMeta.addStep(selstep);

//传输连接元数据信息（连接from和select）
TransHopMeta shi = new TransHopMeta(fromstep, selstep);
transMeta.addTransHop(shi);//添加到传输元对象
fromstep = selstep;//然后设置from步骤为select步骤

//
// Create the target step...
//
//
// Add the TableOutputMeta step...
//设置目标步骤名称
String tostepname = "write to [" + targetTableName + "]";
//表输出元对象
TableOutputMeta toi = new TableOutputMeta();
toi.setDatabase(targetDBInfo);//设置数据库
toi.setTablename(targetTableName);//设置表名
toi.setCommitSize(3000);//设置批量提交数
toi.setTruncateTable(true);//是否清除原有数据

//获取步骤ID
String tostepid = steploader.getStepPluginID(toi);
//创建to步骤
StepMeta tostep = new StepMeta(log, tostepid, tostepname, (StepMetaInterface) toi);
tostep.setLocation(550, 100);
tostep.setDraw(true);
tostep.setDescription("Write information to table [" + targetTableName + "] on database [" + targetDBInfo + "]");
transMeta.addStep(tostep);//添加步骤

//
// Add a hop between the two steps...
//
//创建连接 from--to
TransHopMeta hi = new TransHopMeta(fromstep, tostep);
transMeta.addTransHop(hi);

// OK, if we're still here: overwrite the current transformation...
return transMeta;
}
catch (Exception e)
{
throw new KettleException("An unexpected error occurred creating the new transformation", e);
}
}

/**
* 1) create a new transformation
* 2) save the transformation as XML file
* 3) generate the SQL for the target table
* 4) Execute the transformation
* 5) drop the target table to make this program repeatable
*
* @param args
*/
public static void main(String[] args) throws Exception
{
long start = new Date().getTime();
// Init the logging...
LogWriter log = LogWriter.getInstance("TransBuilder.log", true, LogWriter.LOG_LEVEL_DETAILED);

// Load the Kettle steps & plugins
StepLoader stloader = StepLoader.getInstance();
if (!stloader.read())
{
log.logError("TransBuilder", "Error loading Kettle steps & plugins... stopping now!");
return;
}

// The parameters we want, optionally this can be
String fileName = "./NewTrans.xml";
String transformationName = "Test Transformation";
String sourceDatabaseName = "source";
String sourceTableName = "emp_collect";
String sourceFields[] = {
"empno",
"ename",
"job",
"mgr",
"comm",
"sal",
"deptno",
"birthday"

};

String targetDatabaseName = "target";
String targetTableName = "emp_kettle01";
String targetFields[] = {
"empno01",
"ename01",
"job01",
"mgr01",
"comm",
"sal",
"deptno",
"birthday"
};

// Generate the transformation.
//创建转换元对象
TransMeta transMeta = TransBuilderME.buildCopyTable(
transformationName,
sourceDatabaseName,
sourceTableName,
sourceFields,
targetDatabaseName,
targetTableName,
targetFields
);
// transMeta = new TransMeta();
// Save it as a file:
//传输元对象中获得XML，并输出
String xml = transMeta.getXML();
DataOutputStream dos = new DataOutputStream(new FileOutputStream(new File(fileName)));
dos.write(xml.getBytes("UTF-8"));
dos.close();
System.out.println("Saved transformation to file: "+fileName);

// OK, What's the SQL we need to execute to generate the target table?
//获得sql语句，创建表语句
String sql = transMeta.getSQLStatementsString();

// Execute the SQL on the target table:
//创建表
Database targetDatabase = new Database(transMeta.findDatabase(targetDatabaseName));
targetDatabase.connect();//连接数据库
targetDatabase.execStatements(sql);//执行sql

// Now execute the transformation...
//执行传输任务
Trans trans = new Trans(log, transMeta);
trans.execute(null);
trans.waitUntilFinished();//等待执行完毕

// For testing/repeatability, we drop the target table again
// targetDatabase.execStatement("drop table "+targetTableName);
targetDatabase.disconnect();//断开数据库连接

long end = new Date().getTime();
System.out.println("运行时间：" + (end - start) / 1000 + "秒");
long min = (end - start) / 1000 / 60;
long second = (end - start) / 1000 % 60;
System.out.println("运行时间：" + min + "分钟" + second + "秒");
}

}

内容总结

以上是互联网集市为您收集整理的kettleapi执行转换全部内容，希望文章能够帮你解决kettleapi执行转换所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/534123.html

来源：【匿名】

【上一篇】CodeSmith实用技巧（八）：生成的代码输出到文件中【下一篇】用IE远程创建Mysql数据库的简易程序

更多 ►

【kettleapi执行转换】教程文章相关的互联网学习教程文章

【MySQL笔记】字符串、时间日期转换【图】

1、新增一列，将字符串日期（年、月、日）转换为Date类型报错：Error Code: 1175. You are using safe update：http://jingyan.baidu.com/article/e5c39bf58ed69239d76033a4.html 2、unix时间戳和普通时间之间的转换：SELECT now(); #现在时间SELECT unix_timestamp(now()); 现在时间转换为unix时间戳SELECT from_unixtime(unix_timestamp(now())); unix时间戳转换为现在时间在线转换工具：http://tool.chinaz.com/Tools...

MySQL之left join表查询中发生字符集转换导致表索引失效【代码】【图】

一、出现的场景研发leader突然给了1条sql说这条sql在测试环境库db-stage执行非常的慢，放到线上db-read从库上执行非常的快。而且线上库从库的表的数据远多于测试环境库的表数据。让我分析下是什么问题？？二、sql内容如下 select odtl.id from db_order.t_order_device_trans_log odtl left join db_order.t_order_items_detail oid on odtl.order_id=oid.order_id left join db_order.t_orders o on oid.order_id=o.order_id w...

Mysql实现行列转换【代码】【图】

前言：　　最近又玩起了sql语句，想着想着便给自己出了一道题目：“行列转换”。起初瞎折腾了不少时间也上网参考了一些博文，不过大多数是采用oracle数据库当中的一些便捷函数进行处理，比如”pivot”。那么，在Mysql环境下如何处理？自己举了个小例子： sql代码实现： 1-- Step1:建表并插入数据2 3-- Step2:中间转换，即“二维转一维”得到一维表。 4 5-- Step3:利用IF判断并“group by”即可得到目标结果表。 ...

SQLServer(MSSQL)、MySQL、SQLite、Access相互迁移转换工具 DB2DB v1.3【图】

最近公司有一个项目，需要把原来的系统从 MSSQL 升迁到阿里云RDS(MySQL)上面。为便于测试，所以需要把原来系统的所有数据表以及测试数据转换到 MySQL 上面。在百度上找了很多方法，有通过微软 DTS 的，也有使用 mss2sql 工具进行转换的。使用 DTS 需要预先创建好数据表，否则新迁移的数据库是没有主键的。而 mss2sql 工具可以解决以上问题，但转换速度非常慢！我需要转换 3000 万的数据，在一台相当不错的服务器上面，也需要几天几...

MySQL时间格式转换函数

MySQL DATE_FORMAT() 函数注：当前年份是2018-7-19SELECT DATE_FORMAT(NOW(),‘%Y‘) YEAR输出结果：2018SELECT DATE_FORMAT(NOW(),‘%y‘) YEAR输出结果：18SELECT DATE_FORMAT(NOW(),‘%m‘) MONTH输出结果：7SELECT DATE_FORMAT(NOW(),‘%d‘) DAY输出结果：19SELECT DATE_FORMAT(NOW()...

mysql 字段类型VARCHAR转换成DECIMAL

在我们写代码的实际业务中，有时候实体类用的是String，数据库中自然是VARCHAR类型，但是如果这个实体的属性值放的是数字类型，你查询的时候又需要对它进行排序。sql怎么写呢。别担心mysql提供了转换方法：CAST ,CONVERT 例如：我把VARCHAR类型的价格转换成DECIMAL 然后再进行排序 1.select price from TABLE order by CAST (price as DECIMAL) desc 2.select price from TABLE order by CONVERT ...

数据库迁移之-Oracle 与MySQL互相转换

理论上来说， MySQL 已经被Oracle 收购，这两者之间的Migrate 应该比较容易，但实际的迁移还是有一些问题，以下就说一说一些实现的方式和问题。方式一：手动方式导入导出手动的方式导入，就是操作步骤会比较繁琐一些。对Table 的结构和数据：1. 使用 SQL Developer 把 oracle 的 table 的schema 和 Data（.sql 和 .xls）导出2. 使用 MySQL 的 WorkBench 创建 Table 和导入数据。这里语法上会稍微有一些不同，所以需要略微做一...

将IP地址转换为整型数字的PHP方法、Asp方法和MsSQL方法、MySQL方法

首先我们要先了解一下IP地址转换为整型(严格来说应该说是长整型)的原理~【转换原理】：假设IP为：w.x.y.z，则IP地址转为整型数字的计算公式为：intIP = 256*256*256*w + 256*256*x + 256*y + z【PHP的互转】：PHP的转换方式比较简单，它内置了两个函数int ip2long ( string $ip_address )和 string long2ip ( string $proper_address )可以直接调用使用~【Asp的互转】：自定义函数如下,‘.---------------------------------------...

我的mybatis从oracle迁移转换mysql的差异【原】【代码】

仅此作为笔记分页差异oracle<select id="select" parameterClass="java.util.Map" resultClass="com.bobo.code.model.LoginMember">select*from (select ROWNUM rn , D.*FROM ( select<include refid= "selectSql" ></include><include refid= "pageCondition" ></include>orderby A.t_crt_tm DESC) D<![CDATA[ WHERE ROWNUM <= #maxRowNum:VARCHAR# ]]> )<![CDATA[WHERE rn > #minRowNum:VARCHAR# ]]></select> mysql<selec...

mysql 小数转换成百分数查出（保留两位小数百分数）

SELECT id as ‘ID‘,GROUP_CONCAT(concat(truncate(royalties *100,2),‘%‘)) as ‘比例‘ FROM yser FROM id in(1,3,4,5)GROUP BY id 如上面语句，TRUNCATE(X,D)返回被舍去至小数点后D位的数字X。若D的值为0,则结果不带有小数点或不带有小数部分。可以将D设为负数,若要截去(归零)X小数点左起第D位开始后面所有低位的值. 所有数字的舍入方向都接近于零。，concat是将数值与%拼接起来。GROUP_CONCAT就不用说了，是将属于同一组的列...

php 版本号整数化 mysql存储入库比较大小【版本处理类，提供版本与数字互相转换】

下载地址：https://download.csdn.net/download/a724008158/10659015原文：https://www.cnblogs.com/-mrl/p/9626743.html

MySQL时间戳转换

将时间转换为时间戳：selectunix_timestamp(‘2009-10-26 10-06-07‘)如果参数为空，则处理为当前时间：selectfrom_unixtime(1256540102)有些应用生成的时间戳是比这个多出三位，是毫秒表示，如果要转换，需要先将最后三位去掉，否则返回NULL原文：http://my.oschina.net/guomingliang/blog/300083

MySQL GBK→UTF-8编码转换

前言：第一次写教程，其实算不得教程，只是想总结个转换的手记。如果中间有错误,或者办法不够理想，大家回贴研究下。另外，我也希望我们论坛不仅仅作为闲聊的地方，也希望大家能活跃我们论坛的学习气氛，毕竟我们都来自一个应该给我们知识的地方，不论你从那里获得了多少你需要的知识。好了，言归正传。一准备：环境：MySQL4.1.x及以上版本。 Convertz——文本编码转换工具，molyx上介绍的，我采用的。其实这类工具很多。二理...

mysql隐形转换造成索引失效的事故总结

隐式转换导致索引失效.这一点应当引起重视.也是开发中经常会犯的错误. 由于表的字段tu_mdn定义为varchar2(20),但在查询时把该字段作为number类型以where条件传给mysql,这样会导致索引失效. 错误的例子：select * from test where tu_mdn=13333333333; 正确的例子：select * from test where tu_mdn=‘13333333333‘; 看一下下面的案例，这个案例是开发过程中经常犯的一个错误，这种索引在大表的查询中是很致命的，直接能把数据库...

mysql时间与字符串转换【图】

str_to_date(str,format)：字符串转时间select str_to_date(‘2018-02-23 15:01:51‘, ‘%Y-%m-%d %H:%i:%s‘) date;date_format(date,format)：时间转字符串select date_format(now(), ‘%Y-%m-%d‘) str; 演示 MySQL 日期格式化(format)的取值范围：原文：https://www.cnblogs.com/gered/p/11345713.html

首页 / MYSQL / kettleapi执行转换

kettleapi执行转换

内容导读

内容图文

内容总结

内容备注

内容手机端

【kettleapi执行转换】教程文章相关的互联网学习教程文章

执行 - 相关标签

MYSQL - 技术教程分类

MYSQL - 最新教程

MYSQL - 最热教程