目次

Search

  1. はじめに
  2. パイプラインのパーティション化について
  3. パーティションポイント
  4. パーティションタイプ
  5. プッシュダウンの最適化
  6. プッシュダウンの最適化およびトランスフォーメーション
  7. リアルタイム処理
  8. コミットポイント
  9. 行エラーのロギング
  10. ワークフローリカバリ
  11. 停止と強制終了
  12. コンカレントワークフロー
  13. グリッド処理
  14. ロードバランサ
  15. ワークフロー変数
  16. セッションのパラメータおよび変数
  17. パラメータファイル
  18. FastExport
  19. 外部データのロード
  20. FTP
  21. セッションのキャッシュ
  22. 差分集計
  23. セッションログインタフェース
  24. バッファメモリについて
  25. 高精度データ

詳細ワークフローガイド

詳細ワークフローガイド

ソート済みジョイナトランスフォーメーションのパーティション化

ソート済みジョイナトランスフォーメーションのパーティション化

ソート済み入力を使用するジョイナトランスフォーメーションを追加した場合、ジョイナトランスフォーメーションがソート済みのデータを受け取っていることを検査する必要があります。ソースに大量のデータが含まれる場合、パーティション化を設定してパフォーマンスを高めることができます。しかし、行を再配分するパーティションではソート済みデータの順序が変わる可能性があるため、ソート済みデータが正しく維持されるようにパーティションを設定することが重要です。
例えば、ハッシュ自動キーパーティションポイントを使用した場合、統合サービスによってハッシュ関数が使用され、複数のパーティション間でデータを分散する最良の方法が決定されます。 ただし、この場合、ソート順が統合サービスによって維持されないため、このタイプのパーティションポイントを使用するにあたってはパーティション化のガイドラインに従う必要があります。
データを結合する場合、マスターソースおよび明細ソースのパーティション数が同じになるように設定して、マスターパイプラインおよび明細パイプラインのデータをパーティション化することができます。Integration Serviceは複数のパーティションを同時に処理します。
ジョイナトランスフォーメーションで使用するパーティションタイプに基づいてソート順が維持されるようにパーティションを設定しなければならない場合があります。ジョイナトランスフォーメーションが1:nのパーティション化を使用する場合、マスタパイプラインと明細パイプラインはソート済みポートで連結され、セッションは予期せず終了します。
パーティション化に関する次のガイドラインを考慮してください。
  • ソート済みのフラットファイルまたはソート済みのリレーショナルデータを使用します。
    マスターパイプラインおよび明細パイプラインに大きなフラットファイルが1つある場合は、最初のパーティション内のすべてのソート済みデータを渡し、さらに他のパーティション内の空のファイルデータを渡すように設定します。
  • ソータトランスフォーメーションを使用します。
    ジョイナトランスフォーメーションに自動ハッシュキーパーティションを使用する場合は、各ソータトランスフォーメーションでも自動ハッシュキーパーティションポイントが使用されるように設定する必要があります。
ソートの基点とジョイナトランスフォーメーションの間には、パススルーパーティションポイントだけを追加するようにしてください。