目次

Search

  1. はじめに
  2. Informatica Data Engineering Integrationについて
  3. マッピング
  4. マッピングの最適化
  5. ソース
  6. ターゲット
  7. トランスフォーメーション
  8. Pythonトランスフォーメーション
  9. データプレビュー
  10. クラスタワークフロー
  11. プロファイル
  12. 監視
  13. 階層データ処理
  14. 階層データ処理設定
  15. スキーマが変更された階層データの処理
  16. インテリジェント構造モデル
  17. ブロックチェーン
  18. ステートフルコンピューティング
  19. 付録 A: 接続リファレンス
  20. 付録 B: データ型リファレンス
  21. 付録 C: 関数リファレンス

トランスフォーメーションの概要

トランスフォーメーションの概要

ネイティブ環境と非ネイティブ環境との間で違いがあるため、非ネイティブ環境で特定のトランスフォーメーションのみが有効な場合や、制限付きで有効な場合があります。一部の関数、式、データ型、および変数のフィールドは、非ネイティブ環境で無効になります。
トランスフォーメーションやトランスフォーメーションの動作が、非ネイティブ環境で有効になるか、制限付きで有効になるかに影響する可能性がある、次の処理の違いを考慮します。
  • 計算クラスタは、分散処理を使用し、異なるノードでデータを処理します。各ノードが、他のノードで処理されているデータにアクセスすることはありません。その結果、ランタイムエンジンではデータが生成された順序を判断できない場合があります。
  • 非ネイティブ環境ではランタイムエンジンごとにマッピングロジックの処理を変えることができます。
  • Sparkエンジン上のバッチマッピングのほとんどの処理動作は、ストリーミングマッピングにも適用されます。
  • Databricks Sparkで実行される任意のトランスフォーメーションを使用して、Delta Lakeテーブルにアクセスできます。
次の表は、各トランスフォーメーションと、非ネイティブ環境の各エンジンに対するサポートを一覧表示しています。
トランスフォーメーション
サポートされるエンジン
この表に記載されていないトランスフォーメーションは、ネイティブ環境でのみサポートされます。
アドレスバリデータ
  • Blaze
  • Spark*
  • Databricks Spark
アグリゲータ
  • Blaze
  • Spark*
  • Databricks Spark
大文字小文字変換プログラム
  • Blaze
  • Spark**
  • Databricks Spark
分類子
  • Blaze
  • Spark*
  • Databricks Spark
比較
  • Blaze
  • Spark**
  • Databricks Spark
統合
  • Blaze
  • Spark**
  • Databricks Spark
データマスキング
  • Blaze
  • Spark*
データプロセッサ
  • Blaze
  • Spark**
ディシジョン
  • Blaze
  • Spark**
  • Databricks Spark
  • Blaze
  • Spark*
  • Databricks Spark
フィルタ
  • Blaze
  • Spark*
  • Databricks Spark
Java
  • Blaze
  • Spark*
ジョイナ
  • Blaze
  • Spark*
  • Databricks Spark
キージェネレータ
  • Blaze
  • Spark**
  • Databricks Spark
ラべラ
  • Blaze
  • Spark**
  • Databricks Spark
ルックアップ
  • Blaze
  • Spark*
  • Databricks Spark
マクロ
  • Blaze
  • Spark*
  • Databricks Spark
一致
  • Blaze
  • Spark**
  • Databricks Spark
マージ
  • Blaze
  • Spark**
  • Databricks Spark
ノーマライザ
  • Blaze
  • Spark*
  • Databricks Spark
パーサー
  • Blaze
  • Spark*
  • Databricks Spark
Python
  • Spark*
  • Databricks Spark
ランク
  • Blaze
  • Spark*
  • Databricks Spark
ルーター
  • Blaze
  • Spark*
  • Databricks Spark
ルール仕様
  • Databricks Spark
シーケンスジェネレータ
  • Blaze
  • Spark
ソーター
  • Blaze
  • Spark*
  • Databricks Spark
標準化
  • Blaze
  • Spark*
  • Databricks Spark
共有体
  • Blaze
  • Spark*
  • Databricks Spark
アップデートストラテジ
  • Blaze
  • Spark
  • Databricks Spark
加重平均
  • Blaze
  • Spark**
  • Databricks Spark
Window
  • Spark***
* バッチマッピングおよびストリーミングマッピングの両方でサポートされます。
** バッチマッピングで制限付きでサポートされます。ストリーミングマッピングではサポートされません。Sparkエンジンでのデータプロセッサトランスフォーメーションのサポートについては、KB articleを参照してください。
*** ストリーミングマッピングのみでサポートされます。詳細については、『
Data Engineering Streamingユーザーガイド
』を参照してください。