目次

Search

  1. はじめに
  2. パイプラインのパーティション化について
  3. パーティションポイント
  4. パーティションタイプ
  5. プッシュダウンの最適化
  6. プッシュダウンの最適化およびトランスフォーメーション
  7. リアルタイム処理
  8. コミットポイント
  9. 行エラーのロギング
  10. ワークフローリカバリ
  11. 停止と強制終了
  12. コンカレントワークフロー
  13. グリッド処理
  14. ロードバランサ
  15. ワークフロー変数
  16. セッションのパラメータおよび変数
  17. パラメータファイル
  18. FastExport
  19. 外部データのロード
  20. FTP
  21. セッションのキャッシュ
  22. 差分集計
  23. セッションログインタフェース
  24. バッファメモリについて
  25. 高精度データ

詳細ワークフローガイド

詳細ワークフローガイド

差分集計のためのIntegration Serviceの処理

差分集計のためのIntegration Serviceの処理

差分集計セッションを初めて実行するときに、Integration Serviceではソース全体が処理されます。 セッションの最後に、Integration Serviceはセッションの実行によって得た集計データを2つのファイル(インデックスファイルとデータファイル)に格納します。 Integration Serviceは、アグリゲータトランスフォーメーションのプロパティで指定したキャッシュディレクトリでこれらのファイルを作成します。
差分集計を含むセッションを以降に実行するたびに、ソースの差分変更をセッションで使用します。入力レコードごとに、Integration Serviceはインデックスファイル内の履歴情報をチェックして対応するグループがあるかどうかを調べます。 対応するグループが見つかった場合、Integration Serviceはそのグループの集計データを使って差分集計処理を行い、差分変更を保存します。 対応するグループが見つからない場合、Integration Serviceは新しいグループを作成してレコードデータを保存します。
ターゲットに書き込むときには、Integration Serviceは既存のターゲットに変更を適用します。 変更された集計データをインデックスファイルとデータファイルに保存し、次にセッションを実行するときに履歴データとして使用できるようにします。
ソースに大幅な変更があり、かつIntegration Serviceに将来の差分変更に備えて集計データの保存を継続させたい場合は、既存の集計データを新しい集計データで上書きするようにIntegration Serviceを設定します。
差分集計を含むセッションを以降に実行するたびに、Integration Serviceでは、差分集計ファイルのバックアップが作成されます。 アグリゲータトランスフォーメーションのキャッシュディレクトリには、これらの2つのファイルのセットを格納するのに十分なディスク容量が必要です。
差分集計を使用するセッションをパーティション化する場合、Integration Serviceでは、パーティションごとにキャッシュファイルが1セット作成されます。
次のいずれかのタスクを実行した場合、Integration Serviceでは履歴データが使用されるのではなく、新しい集計データが作成されます。
  • マッピングの新しいバージョンを保存する。
  • 集計キャッシュを再初期化するようにセッションを設定する。
  • セッションプロパティでファイルに設定されているパスまたはディレクトリを修正せずに、集計ファイルを移動する。
  • 集計ファイルを新しい場所に移動せずに、集計ファイルに対して設定されているパスまたはディレクトリを変更する。
  • キャッシュファイルを削除する。
  • パーティション数を減らす。
Integration Serviceによって差分集計ファイルが再構築された場合、前回のファイルに含まれていたデータは失われます。
ファイルの破損やディスク障害から差分集計ファイルを保護するために、これらのファイルを定期的にバックアップします。