目次

Search

  1. はじめに
  2. Informatica Big Data Managementの概要
  3. マッピング
  4. ソース
  5. ターゲット
  6. トランスフォーメーション
  7. クラスタワークフロー
  8. プロファイル
  9. 監視
  10. 階層データ処理
  11. 階層データ処理設定
  12. スキーマが変更された階層データの処理
  13. インテリジェント構造モデル
  14. ステートフルコンピューティング
  15. 接続
  16. データ型リファレンス
  17. 関数リファレンス

ユーザーガイド

ユーザーガイド

Databricks Sparkエンジンでのソータートランスフォーメーション

Databricks Sparkエンジンでのソータートランスフォーメーション

Databricks Sparkエンジンの処理ルールには、データ統合サービスの処理ルールと異なるものがあります。

マッピングの検証

マッピング検証は、大文字小文字の区別が無効な場合に失敗します。
データ統合サービスは、次の場合に、警告をログに記録し、ソータートランスフォーメーションを無視します。
  • ターゲットとソータートランスフォーメーションのソートキーの間に型の不一致がある。
  • トランスフォーメーションに、ターゲットに接続されていないソートキーが含まれる。
  • 書き込みトランスフォーメーションが行の順序を維持するように設定されていない。
  • トランスフォーメーションが書き込みトランスフォーメーションからの直接のアップストリームではない。

NULL値

データ統合サービスは、NULL値を最低値として扱うようにトランスフォーメーションが設定されている場合でも、NULL値を最高値として扱います。

データキャッシュの最適化

ソーターキャッシュを、可変長を使用してデータを格納するように最適化することはできません。

並列ソート

データ統合サービスでは、次の制限付きで、並列ソートが有効になります。
  • マッピング内のソータートランスフォーメーションとターゲットの間に別のトランスフォーメーションが含まれていない。
  • ソータートランスフォーメーションとターゲットの間で、ソートキーのデータ型が変わらない。
  • ソータートランスフォーメーションの各ソートキーは、ターゲットのカラムにリンクされている必要がある。