从品牌网站建设到网络营销策划,从策略到执行的一站式服务
这篇文章给大家介绍如何进行Kettle的数据同步,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。
站在用户的角度思考问题,与客户深入沟通,找到老河口网站设计与老河口网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:成都网站设计、网站建设、企业官网、英文网站、手机端网站、网站推广、申请域名、网络空间、企业邮箱。业务覆盖老河口地区。之前的业务需求是实现数据的增量同步,具体描述为:新增数据插入,变化数据更新,我使用输出中的插入更新即可。
现在业务提出新的需求:除前面描述外,还要实现源表数据删除时,目标表数据同样删除。
虽然我极其不推荐这样做,原因有三:
(1)数据库不应该真正存在delete操作,如果确实要删除一条数据的话,理论上应该在数据库中设置标志位,执行update,不向前端业务显示,但数据仍存在数据库中,便于追溯和回退;
(2)ETL实现删除数据的操作,一旦出现问题,很难查找和解释原因,容易出现互相扯皮和推诿现象;
(3)我需要重新开发ETL。虽然个人难以接受,奈何业务需求是天,我也得硬着头皮去完成,之后可能发生的事情,只能“走一步看一步”,听天由命了。记录关键过程如下:
1.转换的核心对象共4个,包括2个输入、1个合并记录和1个数据同步
【表输入在输入中找:合并记录在链接中;数据同步在输出中】分别设置源数据和目标数据,其中记录数量限制为0就是全部同步。
2.合并记录设置,要注意旧数据源是要同步的数据,也就是目标数据;新数据是来源数据,也就是被同步的数据。标志字段随便起名即可(要符合命名规范)。匹配的关键字段最好是主键(唯一值勉强也行),数据字段是要同步的列(注意,一定要包括关键字段,否则目标数据该列就是空值,千万注意!!)。如下图:
3.合并完成后,标志字段的值有4种,分别是:
“Identical” : 关键字段在新旧数据源中都存在,且域值相同
“changed” : 关键字段在新旧数据源中都存在,但域值不同
“new” : 旧数据源中没有找到该关键字段
“deleted”: 新数据源中没有找到关键字段
则数据同步的配置需要注意以下几点:
(1) 不论是查询的关键字,还是更新字段,都要把标志字段去掉(注意,去掉标志字段!);其他字段根据业务需求,进行设置;
(2) 高级标签中的规则要定义好,否则会报“It was not possible to find operation field [null] in the input stream!”错误。
4.根据需要是定时操作,还是手工操作,如果定时的话,重新建个作业,设定开始相关的配置即可。
另外需要强调一下,如果源数据和目标数据字段不一样的话,来源数据可以用as来改变列名,并一定注意名称和列顺序一致。
关于如何进行Kettle的数据同步就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图