资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

如何进行Kettle的数据同步-创新互联

这篇文章给大家介绍如何进行Kettle的数据同步,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

站在用户的角度思考问题,与客户深入沟通,找到老河口网站设计与老河口网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:成都网站设计、网站建设、企业官网、英文网站、手机端网站、网站推广、申请域名、网络空间、企业邮箱。业务覆盖老河口地区。

之前的业务需求是实现数据的增量同步,具体描述为:新增数据插入,变化数据更新,我使用输出中的插入更新即可。

现在业务提出新的需求:除前面描述外,还要实现源表数据删除时,目标表数据同样删除。
      虽然我极其不推荐这样做,原因有三:
            (1)数据库不应该真正存在delete操作,如果确实要删除一条数据的话,理论上应该在数据库中设置标志位,执行update,不向前端业务显示,但数据仍存在数据库中,便于追溯和回退;
            (2)ETL实现删除数据的操作,一旦出现问题,很难查找和解释原因,容易出现互相扯皮和推诿现象;
            (3)我需要重新开发ETL。虽然个人难以接受,奈何业务需求是天,我也得硬着头皮去完成,之后可能发生的事情,只能“走一步看一步”,听天由命了。记录关键过程如下:

1.转换的核心对象共4个,包括2个输入、1个合并记录和1个数据同步

如何进行Kettle的数据同步

【表输入在输入中找:合并记录在链接中;数据同步在输出中】分别设置源数据和目标数据,其中记录数量限制为0就是全部同步。
       如何进行Kettle的数据同步

2.合并记录设置,要注意旧数据源是要同步的数据,也就是目标数据;新数据是来源数据,也就是被同步的数据。标志字段随便起名即可(要符合命名规范)。匹配的关键字段最好是主键(唯一值勉强也行),数据字段是要同步的列(注意,一定要包括关键字段,否则目标数据该列就是空值,千万注意!!)。如下图:

如何进行Kettle的数据同步
3.合并完成后,标志字段的值有4种,分别是:

Identical” : 关键字段在新旧数据源中都存在,且域值相同

“changed” : 关键字段在新旧数据源中都存在,但域值不同

new” :  旧数据源中没有找到该关键字段

deleted”:  新数据源中没有找到关键字段

则数据同步的配置需要注意以下几点:

(1)  不论是查询的关键字,还是更新字段,都要把标志字段去掉(注意,去掉标志字段!);其他字段根据业务需求,进行设置;

(2)  高级标签中的规则要定义好,否则会报“It was not possible to find operation field [null] in the input stream!”错误。

如何进行Kettle的数据同步 

如何进行Kettle的数据同步

4.根据需要是定时操作,还是手工操作,如果定时的话,重新建个作业,设定开始相关的配置即可。

如何进行Kettle的数据同步

另外需要强调一下,如果源数据和目标数据字段不一样的话,来源数据可以用as来改变列名,并一定注意名称和列顺序一致。

 如何进行Kettle的数据同步 

关于如何进行Kettle的数据同步就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。


网站标题:如何进行Kettle的数据同步-创新互联
网站路径:http://cdkjz.cn/article/gjjhi.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220