关注开源中国OSC头条号，获取最新技术资讯

最近在用kettle迁移数据，从对kettle一点不会到比较熟悉，对于期间的一些问题和坑做了记录和总结，内容涵盖了使用的经验和技巧，踩到的坑、最佳实践和优化前后结果对比。

常用转换组件计算形成新字段：只限算术运算，并且选择固定过滤记录：元表某字段按照某个条件分流，满足条件的到一个表，不满足的到另一个表，这两个目标表都必须有。Switch/Case：和过滤记录类似，可以多个条件判断，并且有默认转向条件，可以完美替换过滤记录组建记录分组：group by 组建未能正常按照预期理解运行设置为NULL：将某个特定值设置为NULL行扁平化：行扁平化，使用与某条件下某名称对应的行数相同的情况行列转换：行转成列，使用Row Normalizer组件，事先一定要是根据分组字段排好序，关键字段就是name列字段，分组字段就是按照什么分组，目标字段就是行转列之后形成的字段列表。 8.字段选择：选择需要的目的列到目标表，并且量表的对应字段不一样时可以用来做字段映射排序：分组前先排序可以提高效率条件分发：根据条件分发，相当与informatica的router组件值映射：相当与oracle的decode函数，源和目标字段同名的话，只要写源字段就可以了

#常用输入组件

表输入：源表输入文本文件输入：文本文件输入xml文件输入：使用Get Data From XML组件，可以在其中使用xpath来选择数据JsonInput：貌似在中文环境下组件面板里看不到，切换到英文模式就看到了

#常用输出组件

表输出：表输出文本文件输出：文本文件输出XML文件输出：输出的XML文件是按照记录行存储的，字段名为元素名Excel文件输出：输出的excel文件是按照记录行存储的，字段名为元素名删除：符合比较条件的记录将删除更新：注意两个表都要有主键才可以插入/更新：速度太慢，不建议使用检查字段是否存在：若在则家一个标志位，值可以是Y/N等值连接：有关联关系字段可以关联，其它的不关联。笛卡尔连接：所有两边的记录交叉连接write to log：把数据输出到控制台日志里，一般调试时很常用空操作：很常用，比如过滤数据，未过滤走正常流程，滤除的数据就转向空操作。我喜欢在转换里用它做开始和结束之类需要分发或汇聚数据流的场景

#内置变量

Internal.Transformation.Name 当前转换的名字
Internal.Job.Name 当前job名字
Internal.Job.Filename.Name job的文件名

#需要修改的配置

在java8里-XX:MaxPermSize，-XX:PermSize已经去掉了，需要修改成-XX:MetaspaceSize 和 -XX:MaxMetaspaceSize

生产环境和开发环境使用不同的数据库连接

~/.kettle/kettle.properties里设置key=value

在kettle.properties中添加变量，然后在类似数据库连接的地方可以用${key}来使用，这样可以实现开发环境和生产环境配置的差异，就算往资源库里提交也可以互不影响了

kettle分页问题

kettle循环分页

首先弄一个转换A，根据源表获取记录数，页数，每页记录数，然后写入系统变量，然后在job里调用转换A，再加一个转换B来迁移数据（其中查询sql要使用转换A生成的系统变量），最后在job里用一个javascript脚本来判断查询记录数是否是0,如果是0就走执行成功，否则就继续执行转换B。

最关键的是判断的js脚本，可以参考

var prevRow=previous_result.getRows();//获取上一个传递的结果，这种方案需要在转换B中将记录集复制为结果，如果记录集较多会造成内存溢出。就算在job里执行也是如此

完整代码：

if (prevRow==null && prevRow.size()==0){
	false;
}else{
	var startRow=parseInt(parent_job.getVariable("START_ROW", 0));
	var pageSize=parseInt(parent_job.getVariable("PAGE_SIZE",1000));
	startRow=startRow+pageSize;
	parent_job.setVariable("START_ROW", startRow);
	true;
}

kettle分页循环的更高效的改进方案

在转换里，每执行一次有个SUCC_COUNT环境变量就+1，在job中用js脚本判断成功数是否>=总记录数，是就终止循环，否就起始行+每页记录数，下面是代码

var startRow=parseInt(parent_job.getVariable("startrow"));
var totalItemCount=parseInt(parent_job.getVariable("totalitemcount"));
if (startRow >= totalItemCount){
	false;
}else{
	true;
}

对比前一种方案，改进方案一次迁移一万条数据没有压力，而且cpu稳定在20%以下。

参数和变量

全局变量参数

在kettle.properties中配置，通过获取环境变量组件来读取，一般用来做数据库连接配置等

位置参数（arguments参数）

最多支持10个，通过命令行参数的位置来区别，不是太好用

命名参数（named params）

通过 -param:name=value的方式设置参数，如果传多个参数需要

-param:name1:value1 -param:name2:value2

配置方法

在转换中双击空白处添加命名参数arg3，arg4，用的时候可以 ${arg3}，${arg4}来使用，注意：如果不直接执行转换就不要配置转换命名参数（转换的命名参数和全局参数在调试时有时候会出现莫名其妙的冲突），建议使用全局参数来替代在job中双击转换，切换到命名参数页，点击获取参数（arg3和arg4会出现到列表里）注意：在使用全局参数的时候这步可以省略在job中双击空白处添加命名参数arg3，arg4，然后在调用kitchen.sh时通过 -param:arg3=abc -param:arg4=def来使用，注意：-param传递的命名参数一定要在job中事先定义才可以。命名参数可以做变量使用，即${var}的方式来调用，如果是日期这样必须包含'的场景，可以用-param:date="2018-1-1 0:0:0"来表示，在sql里用'${var}'来表示kitchen常用命令

命令行执行job（repository模式）

./kitchen.sh -listrep
kitchen.sh -rep= -user= -pass= -level=<日志级别> -job= -logfile=<日志文件路径>
kitchen.sh -rep=olpbdb01 -user=admin -pass=admin -level=Basic -dir=/demo1 -job=demo1 //会执行repository上 /demo1/demo1.kjb

命令行执行job（文件模式）

kitchen.sh -file=/home/job/demo.kjb >> /home/job/log/demo.log

命令行执行转换（respository模式）

pan.sh -rep=mysql -user=admin -pass=admin -dir=/fixbug -trans=f_loan_update -level=Basic -logfile=/data/kettle.log

命令行执行转换（文件模式）

pan.sh -file /data/kettle/demo1/t_test_rep_mysql.ktr

三种增量同步的模式时间戳增量同步：表中增加一个时间戳字段，每次更新值查询update_time>上次更新时间的记录。优点速度快，实现简单，缺点是对数据库有侵入性，对于业务系统也需要更新时间戳，增加了复杂性。触发器增量同步：使用触发器来监控数据变化，对数据库有侵入性并且实现难度较大全表增量同步：主要是用合并记录来比对，优点是数据库侵入较小，实现简单，缺点是性能较差。 个人观点是全表比对要好一点，如果按照分页的方式的化，二十几万条数据20分钟可以全同步完成。但全表增量同步只适合对实时性要求不高的场景。几个常用组件的用途

1.字段选择：比如上一步骤有10个字段，下一步骤需要对其中某个字段做处理，就用字段选择来选择那个字段。还有，如果要合并记录，也会在数据流中使用字段选择选择一下字段。还有就是字段选择自带删除字段和修改字段类型和格式的功能

2.写日志：在处理数据时用写日志组建来记录logger是个不错的方法。

3.Switch/Case：和合并记录配合使用可以实现增量的数据插入/更新和删除。用过滤记录也可以实现同样功能

4.表输出：实际就是向表里insert数据，里面有个[返回自动产生的关键字]功能很好用，相当与insert后立刻查询的到刚刚自增的ID，省去了一部查询操作。

5.更新，删除：和名字一个意思

6.空操作：这个也很有用。

7.记录集连接：类似sql中的join操作，把两个数据流的字段（类型相同，列数相同，位置相同且已经排序过）拼合到一起。

8.分组：类似sql里的group by，构成分组的字段是分组条件（如果没有组可分但又要把每一行的数据都拼成一个串，可以不设置分组条件），聚合部分的字段是类似在select部分需要用聚合函数处理的字段。在拼合in 条件时很有用。

9.javascript脚本：这个不好用，能不用就不要用了。javascript组件支持将js变量转成输出字段。注意在转换里js脚本是每行执行一次。

10.获取变量：如果有外部传入的命名参数或者有环境变量，最好获取变量是做为流程的起点来使用。

11.设置变量：把某个字段转成变量时可以用。

12.表输入

12.1.一般提供一个复杂的sql查询，而且如果表输入需要参数，那么前一步骤一定是个获取变量。

12.2.如果需要实现动态sql（即拼一个sql存入变量A，然后在表输入里执行${A}），必须用两个转换实现。

12.3.如果需要实现每行查询一次（尽量避免这样做，太慢），可以在表输入中选中从步骤插入数据，并勾选执行每一行，在表输入的前一个步骤使用选择选择表输入的参数，在表输入中用占位符?来表示字段选择中选择的字段。

12.4.如果有可能，尽量一次性的用表输入完成所有的各类计算，转换，排序，而尽量避免使用kettle自带组件，因为这样速度快。

13.映射

13.1.可以在转换里调用另一个转换，转换中通过映射输入规范来接收入参数（实际就是个表记录集，在输入规范里定义的都是字段），用映射输出规范来定义输出数据集。这样整个映射就可以作为一个步骤整合到一个转换里（有输入和输出）。映射可以实现转换流程逻辑的复用。

13.2..关于在同一个转换的不同步骤中先修改变量然后再获取变量（取得的是转换刚开始执行时的值）不正确的问题，官方是这样解释的，在转换开始时会有一些变量初始化，初始化之后一些转换中的步骤并不是顺次执行的，所以无法做到同一个转换中在一个步骤。对于这种情况需要拆成两个抓换，先定义和初始化变量，然后再另一个转换中获取变量，需要注意的是，如果是转换中定义变量在子映射的获取的话也是不行的。

14.执行结果里面的Preview data非常好用，可以跑起来查看每个步骤的处理结果，如果发现一个步骤有数据，下一个步骤没数据了，那么可能是有问题了。

15.对于执行时有错误的情况，最好采用一张表来存储执行除错的数据，这对于无人职守迁移数据很重要。可以做成一个子转换来实现功能的复用。

16.对于javascript的调试，最好使用第三方的js开发工具来做，kettle自带的js编辑器太垃圾了。

17.合并记录时总是报NullPointerException，原因是合并记录的两个来源可能有不存在的情况，也可能是两个数据来源的排序不一致

18.转换的配置里的日志可以在线上部署的时候先禁用掉，有问题的时候可以再打开（通过点击连接线）

kettle的最佳实践

启动时

kettle不能加入到PATH里去，加了执行 kitchen.sh -listrep找不到资源库在~/.kettle里有重要的kettle.properties和repositories.xml文件，服务器部署的时候需要拷贝上去spoon图形界面一般用来调试，跑多条数据会很慢个人认为文件模式比repository模式好用点，repository模式总是莫名其妙的出问题，并且repository无法保留变更历史，但文件模式+git就可以做到Unable to get module class path. (java.lang.RuntimeException: Unable to open JAR file, probably deleted: error in opening zip file) 需要删掉 /system/karaf/caches/下的所有文件启动时闪退时需要删掉~/.kettle/db.cache打头的文件就可以了。

防内存溢出和提高性能的处理办法

数据量较大时一定要使用分页机制，控制每个批次导入5000～10000需要在分页循环中首先用一个独立的转换来计算出当前批次的用户ID数组，页码数量，总记录数以及维度表的数据，比如有日期维度表，那么就需要算出当前批次要处理的日期时间数组，最后把这些数据存入到全局变量里面去。这样在后续步骤就可以取出这些全局变量内容按照分页批次进行迁移了。 2.分页要通过一个表输入根据传入的每页记录数动态计算出总页数，并把总页数，总记录数存入全局变量，然后每处理一行计数器加1，截止条件就是总记录数