目次

Search

  1. はじめに
  2. パイプラインのパーティション化について
  3. パーティションポイント
  4. パーティションタイプ
  5. プッシュダウンの最適化
  6. プッシュダウンの最適化およびトランスフォーメーション
  7. リアルタイム処理
  8. コミットポイント
  9. 行エラーのロギング
  10. ワークフローリカバリ
  11. 停止と強制終了
  12. コンカレントワークフロー
  13. グリッド処理
  14. ロードバランサ
  15. ワークフロー変数
  16. セッションのパラメータおよび変数
  17. パラメータファイル
  18. FastExport
  19. 外部データのロード
  20. FTP
  21. セッションのキャッシュ
  22. 差分集計
  23. セッションログインタフェース
  24. バッファメモリについて
  25. 高精度データ

詳細ワークフローガイド

詳細ワークフローガイド

パーティションポイントの追加および削除

パーティションポイントの追加および削除

パーティションポイントがパイプラインのスレッド境界をマークし、パイプラインをステージに分割します。
パーティションポイントを追加すると、トランスフォーメーションスレッドの数が増え、セッションのパフォーマンスを向上できます。Integration Serviceではパーティションポイントでデータ行を再分散できるため、これもまたセッションのパフォーマンスを向上することができます。セッションを作成した場合、Workflow Managerによりパイプライン上の各トランスフォーメーションで、それぞれ1つのパーティションポイントが作成されます。
パイプラインにある、以下のトランスフォーメーションまたはターゲットインスタンスにもとづいて、パーティションポイントを保持または削除できます。
ソース修飾子トランスフォーメーション
ソースからデータを抽出してソース修飾子に送る方法を制御します。このパーティションポイントは削除できません。
ノーマライザトランスフォーメーション
ソースからデータを抽出してソース修飾子に送る方法を制御します。このパーティションポイントは削除できません。
ランクトランスフォーメーション
行がトランスフォーメーションに送られる前に、行を適正にグループ化するようにします。パイプラインにパーティションが1つだけ含まれる場合、あるいは1つのグループに属するすべての行が、トランスフォーメーションに送られる前に1つのパーティションに送られる場合に、このパーティションポイントを削除できます。
未ソートアグリゲータトランスフォーメーション
行がトランスフォーメーションに送られる前に、行を適正にグループ化するようにします。パイプラインにパーティションが1つだけ含まれる場合、あるいは1つのグループに属するすべての行が、トランスフォーメーションに送られる前に1つのパーティションに送られる場合に、このパーティションポイントを削除できます。
ターゲットインスタンス
writerがターゲットにデータを渡す方法を制御します。このパーティションポイントは削除できません。
複数入力グループトランスフォーメーション
1つのスレッドで各パーティションを処理するように複数入力グループトランスフォーメーションが設定されている場合や、1つのスレッドで各パーティションを処理するようにダウンストリームの複数入力グループカスタムトランスフォーメーションが設定されている場合、Workflow Managerは複数入力グループトランスフォーメーションにパーティションポイントを作成します。
例えば、Workflow Managerは、ソート済みジョイナトランスフォーメーションにパーティションポイントを作成できます。Workflow Managerは、ジョイナトランスフォーメーションが、パーティションごとに1つのスレッドを使用するように設定されたダウンストリームのカスタムトランスフォーメーションに接続されると、パーティションポイントを作成します。
これにより、Integration Serviceは1つのスレッドを使用して、パーティションごとに1つのスレッドを必要とするCustomトランスフォーメーションの各パーティションを処理するようになります。このパーティションポイントは削除できません。