目次

Search

  1. はじめに
  2. Informatica Data Engineering Integrationについて
  3. マッピング
  4. マッピングの最適化
  5. ソース
  6. ターゲット
  7. トランスフォーメーション
  8. Pythonトランスフォーメーション
  9. データプレビュー
  10. クラスタワークフロー
  11. プロファイル
  12. 監視
  13. 階層データ処理
  14. 階層データ処理設定
  15. スキーマが変更された階層データの処理
  16. インテリジェント構造モデル
  17. ブロックチェーン
  18. ステートフルコンピューティング
  19. 付録 A: 接続リファレンス
  20. 付録 B: データ型リファレンス
  21. 付録 C: 関数リファレンス

階層データ処理の概要

階層データ処理の概要

SparkおよびDatabricks Sparkエンジンは、配列、構造、マップなどの複合データ型を使用するマッピングを処理できます。複合データ型を使用すると、ランタイムエンジンは、複合ファイル内の階層データに対して直接読み取り、処理、および書き込みを行います。
SparkおよびDatabricks Sparkエンジンは、Avro、JSON、ORC、およびParquetの複合ファイルの階層データを処理できます。これらのエンジンは、複合データ型を使用して、複合ファイル内の階層データのネイティブデータ型を表します。例えば、Avroファイルのレコードタイプの階層データは、ランタイムエンジンでは構造データ型として表されます。

階層データ処理シナリオ

次の階層データ処理シナリオ向けにマッピングを開発できます。
  • 階層データを生成および変更するため。
  • リレーショナルデータを階層データに変換するため。
  • 階層データをリレーショナルデータに変換するため。
  • ある複合ファイル形式のデータを別の形式に変換するため。例えば、階層データをAvroソースから読み取り、JSONターゲットに書き込みます。
  • マッピングで階層JSONまたはXMLデータミッドストリームを解析した後、構造ターゲットデータを生成するため。

階層データ処理設定

複合ファイルにアクセスする接続を作成し、複合ファイル内のデータを表すデータオブジェクトを作成します。次に、複合データ型としてのプロジェクトカラムに対する、データオブジェクトの読み取り操作および書き込み操作を設定します。複合ファイル内の階層データの読み取りおよび書き込みを行うには、マッピングを作成し、読み取り操作に基づいた読み取りトランスフォーメーションを追加して、書き込み操作に基づいた書き込みトランスフォーメーションを追加します。階層データを処理するには、マッピングの次のオブジェクトとトランスフォームプロパティを設定します。
  • 複合ポート。マッピングの階層データを渡すために、複合ポートを作成します。複合ポートは、ポートに複合データ型を割り当てて作成します。
  • 複合データ型定義。構造タイプの階層データを処理するには、構造データのスキーマを表す複合データ型定義を作成またはインポートします。
  • 型設定。複合ポートのプロパティを定義するには、タイプ設定を指定または変更します。
  • 複合演算子および複合関数。階層データを生成または変更するには、複合演算子や複合関数を使用して式を作成します。
階層変換ウィザードを使用して、マッピング開発タスクの一部を簡略化することもできます。