目次

Search

  1. はじめに
  2. パイプラインのパーティション化について
  3. パーティションポイント
  4. パーティションタイプ
  5. プッシュダウンの最適化
  6. プッシュダウンの最適化およびトランスフォーメーション
  7. リアルタイム処理
  8. コミットポイント
  9. 行エラーのロギング
  10. ワークフローリカバリ
  11. 停止と強制終了
  12. コンカレントワークフロー
  13. グリッド処理
  14. ロードバランサ
  15. ワークフロー変数
  16. セッションのパラメータおよび変数
  17. パラメータファイル
  18. FastExport
  19. 外部データのロード
  20. FTP
  21. セッションのキャッシュ
  22. 差分集計
  23. セッションログインタフェース
  24. バッファメモリについて
  25. 高精度データ

詳細ワークフローガイド

詳細ワークフローガイド

パーティションの数

パーティションの数

各パイプラインステージで処理するスレッドの数は、パーティションの数に依存します。パーティションとは、1つの読み取りスレッド、トランスフォーメーションスレッド、または書き込みスレッドで実行されるパイプラインステージを指します。任意のパイプラインステージにおけるパーティションの数は、当該ステージにおけるスレッドの数と一致します。
パイプライン上のパーティションポイントには最大64のパーティションを定義できます。任意のパーティションポイントでパーティションの数を増減すると、Workflow Managerはパイプライン上のすべてのパーティションポイントでパーティションの数を増減します。パーティションの数は、パイプライン全体を通して一定です。任意のパーティションポイントで3つのパーティションを定義すると、パイプライン上にある他のすべてのパーティションポイントで3つのパーティションが作成されます。特定の状況では、パイプラインのパーティションの数を1つに設定する必要があります。
パーティションまたはパーティションポイントの数が増えることで、スレッドの数が増えます。したがって、パーティションまたはパーティションポイントの数を増やすと、ノードの負荷も大きくなります。ノードに十分なCPUバンド幅がある場合は、セッションで並列にデータ行を処理することで、セッションのパフォーマンスを向上させることができます。ただし、大量のデータを処理するセッションでたくさんのパーティションまたはパーティションポイントを作成すると、システムの負荷が大きくなりすぎる場合もあります。
作成するパーティションの数は、ソースまたはターゲットへの接続の数と等しくなります。パイプラインにリレーショナルソースまたはリレーショナルターゲットが含まれる場合には、ソース修飾子またはターゲットインスタンスのパーティションの数はデータベースへの接続の数と等しくなります。パイプラインにファイルソースが含まれる場合は、1つまたは複数のスレッドでソースを読み込むようにセッションを設定できます。
次の図に、3つのパーティションのマッピングのスレッドを示します。
このマッピングには、4つのステージがあります。各ステージには3つのスレッドのセットがあります。最初のステージには3つの読み取りスレッドのセットがあります。2番目のステージと3番目のステージには、3つのトランスフォーメーションスレッドのセットがあります。4番目のステージには、3つの書き込みスレッドのセットがあります。
例えば、マッピングで3つのパーティションを定義する場合、マスタスレッドによりパイプラインステージごとに3つのスレッドが作成され、合計で12のスレッドが作成されます。
Integration Serviceにより、パーティションスレッドが同時に実行されます。 複数のパーティションを持つセッションを実行した場合、スレッドは次のように実行されます。
  1. 読み取りスレッドが並列に実行されてソースからデータを抽出します。
  2. トランスフォーメーションスレッドがそれぞれのトランスフォーメーションステージで並列に実行されてデータを処理します。Integration Serviceにより、各パーティションポイントにおいてパーティションの間でデータが再配分されます。
  3. 書き込みスレッドが同時に実行され、データがターゲットに書き込まれます。