目次

Search

  1. はじめに
  2. パイプラインのパーティション化について
  3. パーティションポイント
  4. パーティションタイプ
  5. プッシュダウンの最適化
  6. プッシュダウンの最適化およびトランスフォーメーション
  7. リアルタイム処理
  8. コミットポイント
  9. 行エラーのロギング
  10. ワークフローリカバリ
  11. 停止と強制終了
  12. コンカレントワークフロー
  13. グリッド処理
  14. ロードバランサ
  15. ワークフロー変数
  16. セッションのパラメータおよび変数
  17. パラメータファイル
  18. FastExport
  19. 外部データのロード
  20. FTP
  21. セッションのキャッシュ
  22. 差分集計
  23. セッションログインタフェース
  24. バッファメモリについて
  25. 高精度データ

詳細ワークフローガイド

詳細ワークフローガイド

パススルーパーティションタイプ

パススルーパーティションタイプ

パススルーパーティション化では、Integration Serviceによりデータはパーティション間で再分散されることなく処理されます。したがって、ある1つのパーティションに置かれた行はすべて、パススルーパーティションポイントを通過した後も同じパーティションにとどまります。
パイプラインにパーティションポイントを追加すると、マスタースレッドにより新しいパイプラインステージが追加されます。データスループットを向上させたいが、パーティションの数を増やしたくない場合に、パススルーパーティション化を使用します。
パススルーパーティション化はパイプライン上の有効な任意のパーティションポイントで指定できます。
以下の図に、パススルーパーティション化を使用してデータスループットを向上できるマッピングを示します。
このマッピングには、readerスレッドのソース(第1ステージ)、一連のトランスフォーメーションスレッド(第2ステージ)、およびwriterスレッドのターゲット(第3ステージ)が含まれています。
  1. readerスレッド(第1ステージ)。
  2. トランスフォーメーションスレッド(第2ステージ)。
  3. writerスレッド(第3ステージ)。
デフォルトでは、このマッピングにはソース修飾子とターゲットインスタンスにパーティションポイントが置かれます。このマッピングにはXMLターゲットが含まれるため、パーティションポイントに設定できるパーティションは1つだけになります。
この場合マスタースレッドにより作成されるのは、ソースからデータを読み込むreaderスレッドが1つ、データを処理するトランスフォーメーションスレッドが1つ、ターゲットにデータを書き込むwriterスレッドが1つです。それぞれのパイプラインステージで、次のように行が処理されます。
ソース修飾子
(第1ステージ)
トランスフォーメーション
(第2ステージ)
ターゲットインスタンス
(第3ステージ)
行セット1
-
-
行セット2
行セット1
-
行セット3
行セット2
行セット1
行セット4
行セット3
行セット2
...
...
...
行セットn
行セット(n-1)
行セット(n-2)
パイプラインには3つのステージが含まれるため、Integration Serviceでは行のセットを3つ同時に処理することができます。
式トランスフォーメーションが非常に複雑な場合には、第2(トランスフォーメーション)ステージの処理に時間がかかり、データスループットが低下することがあります。パフォーマンスを向上させるためには、式トランスフォーメーションEXP_2にパーティションポイントを設定し、パーティションタイプをパススルーパーティション化に設定します。この操作により新しいパイプラインステージが作成されます。新しいトランスフォーメーションスレッドがマスタースレッドにより追加されます。
このマッピングには、readerスレッド、2つのトランスフォーメーションスレッド、およびwriterスレッドの4つのステージが含まれます。
  1. readerスレッド(第1ステージ)。
  2. トランスフォーメーションスレッド(第2ステージ)。
  3. トランスフォーメーションスレッド(第3ステージ)。
  4. writerスレッド(第4ステージ)。
これで、Integration Serviceは行の4つのセットを次のように同時に処理できます。
ソース修飾子
(第1ステージ)
FIL_1 & EXP_1トランスフォーメーション
(第2ステージ)
EXP_2 & LKP_1トランスフォーメーション
(第3ステージ)
ターゲットインスタンス
(第4ステージ)
行セット1
-
-
-
行セット2
行セット1
-
-
行セット3
行セット2
行セット1
-
行セット4
行セット3
行セット2
行セット1
...
...
...
...
行セットn
行セット(n-1)
行セット(n-2)
行セット(n-3)
式トランスフォーメーション「EXP_2」にパーティションポイントを追加すると、実行時間の長い1つのトランスフォーメーションステージが、実行時間の短い2つのトランスフォーメーションステージに置き換えられます。データスループットは実行時間の最も長いステージにより決定されます。したがってこの場合は、データスループットが向上します。