目次

Search

  1. はじめに
  2. パイプラインのパーティション化について
  3. パーティションポイント
  4. パーティションタイプ
  5. プッシュダウンの最適化
  6. プッシュダウンの最適化およびトランスフォーメーション
  7. リアルタイム処理
  8. コミットポイント
  9. 行エラーのロギング
  10. ワークフローリカバリ
  11. 停止と強制終了
  12. コンカレントワークフロー
  13. グリッド処理
  14. ロードバランサ
  15. ワークフロー変数
  16. セッションのパラメータおよび変数
  17. パラメータファイル
  18. FastExport
  19. 外部データのロード
  20. FTP
  21. セッションのキャッシュ
  22. 差分集計
  23. セッションログインタフェース
  24. バッファメモリについて
  25. 高精度データ

詳細ワークフローガイド

詳細ワークフローガイド

パイプラインのパーティション化の概要について

パイプラインのパーティション化の概要について

Integration Serviceで実行するセッションをマッピングごとに作成します。 各マッピングには、1つ以上のパイプラインが含まれています。パイプラインは、ソース修飾子と、そのソース修飾子からデータを受け取るすべてのトランスフォーメーションおよびターゲットから構成されます。Integration Serviceはセッションを実行すると、パイプラインをパーティション化してそれぞれのパーティションデータに対して、抽出、トランスフォーメーション、ロードを並列に実行することで、より高いパフォーマンスを実現することができます。
パーティションとは、1つのreaderスレッド、トランスフォーメーションスレッド、またはwriterスレッドで実行されるパイプラインステージを指します。任意のパイプラインステージにおけるパーティションの数は、そのステージにおけるスレッドの数と一致します。デフォルトでは、Integration Serviceはすべてのパイプラインステージにパーティションを1つ作成します。
パーティション化オプションを使用すると、1つのパイプラインステージに対して複数のパーティションを設定することができます。パイプラインに対してマスタースレッドが作成する、readerスレッド、トランスフォーメーションスレッド、およびwriterスレッドの数を制御するパーティション化情報を設定できます。Integration Serviceがソースからデータを読み込む方法、各トランスフォーメーションにデータ行を分散させる方法、およびターゲットにデータを書き込む方法を設定できます。 使用するソース接続およびターゲット接続の数を設定できます。
セッションに対してパーティションを設定するには、次の作業を実行します。
  • パーティションポイント、パーティション数、パーティションタイプなど、パーティション属性を設定します。
  • Integration Serviceによりランタイム時にパーティション化を設定できます。動的パーティションを有効にする際、Integration Serviceにより、ソースデータベースパーティションやグリッド内のノード数などの要素に基づいて、セッションパーティションの数が計算されます。
  • パーティション化のためにセッションを設定した後、メモリ要件とキャッシュディレクトリをトランスフォーメーションごとに設定できます。
  • Integration Serviceにより、ターゲットロード順グループ内のパーティションごとにマッピング変数が評価されます。マッピングで変数関数を使用して、変数値を設定できます。
  • パイプラインに複数のパーティションを作成した場合、Workflow Managerにより、Integration Serviceがパーティションを使用してセッションでデータの一貫性を保持できることが確認されます。セッションでオブジェクトプロパティを編集した場合、パーティション化に影響を与え、セッションが失敗することがあります。
  • セッションプロパティでパーティションポイントを追加または編集します。パーティションポイントを変更する場合は、パーティションタイプを定義し、パーティションを追加または削除することができます。