目次

Search

  1. はじめに
  2. パイプラインのパーティション化について
  3. パーティションポイント
  4. パーティションタイプ
  5. プッシュダウンの最適化
  6. プッシュダウンの最適化およびトランスフォーメーション
  7. リアルタイム処理
  8. コミットポイント
  9. 行エラーのロギング
  10. ワークフローリカバリ
  11. 停止と強制終了
  12. コンカレントワークフロー
  13. グリッド処理
  14. ロードバランサ
  15. ワークフロー変数
  16. セッションのパラメータおよび変数
  17. パラメータファイル
  18. FastExport
  19. 外部データのロード
  20. FTP
  21. セッションのキャッシュ
  22. 差分集計
  23. セッションログインタフェース
  24. バッファメモリについて
  25. 高精度データ

詳細ワークフローガイド

詳細ワークフローガイド

差分集計の概要

差分集計の概要

差分集計では、ソース内から取得した変更をセッションで集計計算に適用します。ソースの変更が差分であり、その変更を取得できる場合は、その変更を処理するようにセッションを設定できます。この結果、Integration Serviceは、セッションを実行するたびにソース全体を処理して同じデータを再計算する代わりに、ターゲットの差分だけを更新することができます。
たとえば、新しいデータを毎日受け取るソースを使用するセッションがあるとします。既存のデータをデータフローから取り除くフィルタ条件をマッピングに追加してあり、それによって差分変更を取得することができます。そして、差分集計を有効にします。
このセッションを、差分集計を有効にして3月1日に初めて実行するときには、ソース全体を使用します。この結果、Integration Serviceは、必要な集計データを読み込んで格納できます。 3月2日にセッションを再び実行すると、3月2日のタイムスタンプが付いたレコード以外はすべてフィルタによって除外されます。Integration Serviceは、新しいデータを処理し、それに応じてターゲットを更新します。
次の状況での差分集計の使用を検討します。
  • 新しいソースデータがキャプチャ可能な場合。
    セッションを実行するたびに新しいソースデータをキャプチャできる場合、差分集計を使用します。 ストアドプロシージャトランスフォーメーションまたはフィルタトランスフォーメーションを使用して、新しいデータを処理します。
  • 差分変更がターゲットを大幅に変更しない場合。
    変更がターゲットを大幅に変更しない場合、差分集計を使用します。 差分変更のソースによって既存のターゲットの半分以上が変更される場合、セッションで差分集計を使用することで得られる利点がなくなります。この場合には、テーブルを削除してから、完全なソースデータを使ってターゲットを再作成してください。
マッピングにPercentile関数またはMedian関数が含まれている場合、差分集計は使用しないでください。Integration Serviceは、これらの関数を処理するときに、セッションプロパティで設定したキャッシュメモリだけでなく、システムメモリも使用します。 この結果、Integration Serviceはディスクキャッシュに、Percentile関数およびMedian関数の差分集計の値を格納しません。