目次

Search

  1. はじめに
  2. パイプラインのパーティション化について
  3. パーティションポイント
  4. パーティションタイプ
  5. プッシュダウンの最適化
  6. プッシュダウンの最適化およびトランスフォーメーション
  7. リアルタイム処理
  8. コミットポイント
  9. 行エラーのロギング
  10. ワークフローリカバリ
  11. 停止と強制終了
  12. コンカレントワークフロー
  13. グリッド処理
  14. ロードバランサ
  15. ワークフロー変数
  16. セッションのパラメータおよび変数
  17. パラメータファイル
  18. FastExport
  19. 外部データのロード
  20. FTP
  21. セッションのキャッシュ
  22. 差分集計
  23. セッションログインタフェース
  24. バッファメモリについて
  25. 高精度データ

詳細ワークフローガイド

詳細ワークフローガイド

パイプラインルックアップトランスフォーメーションのキャッシュのパーティション化

パイプラインルックアップトランスフォーメーションのキャッシュのパーティション化

パイプラインルックアップトランスフォーメーションは、キャッシュに対してデフォルトで有効になっています。Integration Serviceでルックアップキャッシュを構築するとき、ルックアップソースをパーティション化すると、パフォーマンスが向上します。ルックアップトランスフォーメーションは、ルックアップソースがキャッシュされたときに行の処理を開始します。
パイプラインルックアップトランスフォーメーションを設定すると、ルックアップソースおよびソース修飾子はルックアップトランスフォーメーションとは別のパイプラインに含められます。このパイプラインは部分パイプラインです(ターゲットが含まれないため)。Integration Serviceでは、この部分パイプライン内のソースデータを読み込みます。パイプラインに複数のパーティションを作成すると、処理のパフォーマンスが向上します。
Integration Serviceでキャッシュを構築するとき、部分パイプラインのソースデータが他のパイプラインに渡されます。部分パイプライン内のパーティションの数がルックアップトランスフォーメーションのパーティションの数と異なる場合、Integration Serviceによってパーティションポイントが作成されます。ルックアップトランスフォーメーションに自働ハッシュキーパーティションポイントが含まれる場合、キャッシュにはルックアップトランスフォーメーションと同じ数のパーティションが作成されます。それ以外の場合は、キャッシュのパーティションは1つだけです。
以下の図に、パイプラインルックアップトランスフォーメーションおよびソース修飾子ルックアップソースを含むセッションのパーティションを示します。
このマッピングには、4つのパーティションを含むパイプラインと、3つのパーティションを含む部分パイプラインが含まれています。
Integration Serviceでは、3つのパーティション内のEmployee行を処理します。ルックアップトランスフォーメーションを含むパイプラインには、4つのパーティションがあります。ルックアップトランスフォーメーションには自働ハッシュキーパーティションポイントが含まれるため、キャッシュは4つのパーティションにパーティション化されます。