例えば、24時間の期間内に変更されたレコードを処理して、顧客のポートフォリオを分析する必要があるとします。Hadoop上のデータをオフロード処理し、過去24時間に挿入、削除、および更新された顧客レコードを見つけ、データウェアハウス内のそれらのレコードを更新できます。ソースファイル内でカラム数が変更されたり、キーが変更された場合でも、これらの変更をキャプチャできます。

変更をキャプチャするために、Developer toolで次のマッピングを作成できます。

Mapping_Day1

最初の24時間の期間について、ローカルファイルシステムのフラットファイルから顧客データを読み取り、HDFSターゲットに書き込むためのマッピングを作成します。

Mapping_Day2

次の24時間の期間について、ローカルファイルシステムのフラットファイルから顧客データを読み取り、HDFSターゲットに書き込むためのマッピングを作成します。

m_CDC_DWHOptimization

変更されたデータをキャプチャするためのマッピングを作成します。このマッピングは、HDFSからデータを読み取り、変更されたデータを識別します。パフォーマンスを向上させるために、マッピングをHadoop環境のHadoopクラスタノードで実行するように設定します。

次の図は、m_CDC_DWHOptimizationのマッピングを示します。

マッピングには次のオブジェクトが含まれます。

読み取りトランスフォーメーション。Mapping_Day1とMapping_Day2のターゲットだったHDFSファイルからデータを読み取るトランスフォーメーションです。データ統合サービスは、すべてのデータを単一のカラムとして読み取ります。
式トランスフォーメーション。データの非キー値からキーを抽出します。式では、INSTR関数とSUBSTR関数を使用して、キー値の抽出を実行します。
ジョイナトランスフォーメーション。式トランスフォーメーションで生成されたキーに基づいて、2つのソース上で完全な外部結合を実行します。
フィルタトランスフォーメーション。行を更新、削除、または挿入するべきかどうかに基づいて、ジョイナトランスフォーメーションの出力を使用して行をフィルタします。
書き込みトランスフォーメーション。データが挿入、削除、または更新されたかどうかに基づいて、3つのHDFSファイルにデータを書き込むトランスフォーメーションです。

Consolidated_Mapping

HDFSファイルのデータを統合し、データをデータウェアハウスにロードするためのマッピングを作成します。

次の図は、Consolidated_Mappingのマッピングを示します。

マッピングには次のオブジェクトが含まれます。

読み取りトランスフォーメーション。以前のマッピングのターゲットだったHDFSファイルからデータを読み取るトランスフォーメーションが、このマッピングのソースになります。
式トランスフォーメーション。データ行に、削除、更新、または挿入されたタグを追加します。
共有体トランスフォーメーション。レコードを結合します。
書き込みトランスフォーメーション。ローカルファイルシステムでステージング場所として機能するフラットファイルにデータを書き込むトランスフォーメーションです。

各マッピングを開いて、右クリックしてマッピングを実行できます。すべてのマッピングを順番に実行するには、ワークフローを使用します。

次の図は、データウェアハウスの最適化ワークフローの例を示します。

ワークフローを実行するには、infacmd wfs startWorkflowコマンドを使用します。