专注于互联网--专注于架构

kettleetl:开源ETL工具kettle系列的增量更新设计

  ETL中增量更新是个比较依赖和工具和设计思路方法过程Kettle中主要提供Insert / Update 步骤Delete 步骤和Database Lookup 步骤来支持增量更新增量更新设计思路方法也是根据应用场景来选取虽然本文讨论是Kettle实现方式但也许对其他工具也有些帮助本文不可能涵盖所有情况欢迎大家讨论 应用场景增量更新按照数据种类区别大概可以分成:1. 只增加不更新2. 只更新不增加3. 即增加也更新4. 有删除有增加有更新其中1 2 3种大概都是相同思路使用步骤可能略有区别通用思路方法是在原数据库增加个时间戳然后在转 [阅读全文] [PDF]