目次

Search

  1. はじめに
  2. パイプラインのパーティション化について
  3. パーティションポイント
  4. パーティションタイプ
  5. プッシュダウンの最適化
  6. プッシュダウンの最適化およびトランスフォーメーション
  7. リアルタイム処理
  8. コミットポイント
  9. 行エラーのロギング
  10. ワークフローリカバリ
  11. 停止と強制終了
  12. コンカレントワークフロー
  13. グリッド処理
  14. ロードバランサ
  15. ワークフロー変数
  16. セッションのパラメータおよび変数
  17. パラメータファイル
  18. FastExport
  19. 外部データのロード
  20. FTP
  21. セッションのキャッシュ
  22. 差分集計
  23. セッションログインタフェース
  24. バッファメモリについて
  25. 高精度データ

詳細ワークフローガイド

詳細ワークフローガイド

ソータトランスフォーメーションの使用

ソータトランスフォーメーションの使用

ソータトランスフォーメーションを使用してデータをソートするセッションでは、マスタパイプラインと明細パイプラインに対し、
n
:
n
のパーティションを使用します。ソータトランスフォーメーションに自動ハッシュキーパーティションポイントを使用してデータをグループ化します。ジョイナトランスフォーメーションには、パススルーパーティションまたは自動ハッシュキーパーティションを追加できます。
データは、統合サービスによって同じハッシュ値を持つパーティションへとグループ化され、ソータトランスフォーメーションによってソートされてから、ジョイナトランスフォーメーションに渡されます。 統合サービスがハッシュ自動キーパーティションを使用して設定されたジョイナトランスフォーメーションを処理する際、各ソータトランスフォーメーションからのデータをルーティングするときに使用したパーティションと同じパーティションを使用してソート済みのデータを処理することによって、ソート順が保持されます。
次の図では、ソータトランスフォーメーションと自動ハッシュキーパーティションを使ってソート順を維持しています。
 マスタパイプラインと明細パイプラインに、データがソートされていないソースが含まれています。各ソース修飾子トランスフォーメーションはソータトランスフォーメーションにリンクします。各ソータトランスフォーメーションにはハッシュ自動キーパーティションポイントがあります。ソータトランスフォーメーションはソート済みデータをジョイナトランスフォーメーションに送信します。ジョイナトランスフォーメーションは、ハッシュ自動パーティションポイントか、パススルーパーティションポイントのいずれかを持つことができます。ジョイナトランスフォーメーションは、ソート済みデータと結合したデータをダウンストリームに送信します。
最適なパフォーマンスを得るには、ソート済みのフラットファイルまたはソート済みのリレーショナルデータを使用します。必要に応じて、マッピングにソータトランスフォーメーションを追加した場合の処理オーバーヘッドを計算してください。