目次

Search

  1. はじめに
  2. Informatica Data Engineering Integrationについて
  3. マッピング
  4. マッピングの最適化
  5. ソース
  6. ターゲット
  7. トランスフォーメーション
  8. Pythonトランスフォーメーション
  9. データプレビュー
  10. クラスタワークフロー
  11. プロファイル
  12. 監視
  13. 階層データ処理
  14. 階層データ処理設定
  15. スキーマが変更された階層データの処理
  16. インテリジェント構造モデル
  17. ブロックチェーン
  18. ステートフルコンピューティング
  19. 付録 A: 接続リファレンス
  20. 付録 B: データ型リファレンス
  21. 付録 C: 関数リファレンス

ユーザーガイド

ユーザーガイド

マッピングの開発方法階層データの処理

マッピングの開発方法階層データの処理

複合ポート、演算子、関数を持つマッピングを開発し、SparkまたはDatabricks Sparkエンジンで階層データを処理します。
マッピングを開発するためのタスクとタスクを実行する順序は、マッピングシナリオに応じて異なります。
次に、複合ファイル内の階層データを読み取り、書き込み、処理するためのマッピングを開発して実行する高度なタスクの概要を示します。
接続の作成
ファイルストレージに基づいて複合ファイル内のデータにアクセスする接続を作成します。
データオブジェクトを作成します。
  1. ソースまたはターゲットとして複合ファイルを表すデータオブジェクトを作成します。
  2. データオブジェクトのプロパティを設定します。
  3. 読み取り操作および書き込み操作で、複合ファイル内のプロジェクトカラムに対してカラムファイルプロパティを複合データ型として有効にします。
マッピングを作成し、マッピングオブジェクトを追加します。
  1. マッピングを作成し、読み取りトランスフォーメーション、書き込みトランスフォーメーションを追加します。
    複合ファイルとの間で読み取りおよび書き込みを行うには、データオブジェクトの読み取りおよび書き込み操作に基づいて、読み取りトランスフォーメーションおよび書き込みトランスフォーメーションを追加します。
    AvroファイルまたはParquetファイルに書き込むにも、マッピング内の既存のトランスフォーメーションから複合ファイルターゲットを作成できます。
  2. マッピングロジックに基づいて、ランタイムエンジンでサポートされるその他のトランスフォーメーションを追加します。
構造データを生成します。
マッピングシナリオに基づいて、階層変換ウィザードのいずれかを使用し、構造データを生成します。次の手順を手動で実行することもできます。
構造ポートの複合データ型定義を作成するかインポートします。
  1. 構造データのスキーマを表す複合データ型定義を作成するかインポートします。
    複合データ型定義は、モデルリポジトリオブジェクトである型定義ライブラリに格納されます。型定義ライブラリのデフォルトの名前は、m_Type_Definition_Libraryです。
  2. マッピングが1つまたは複数のマップレットを使用する場合、マッピングとマップレットの型定義ライブラリの名前を変更し、それらの名前が一意であるようにします。
トランスフォーメーション内の構造ポートを作成して設定します。
  1. トランスフォーメーション内にポートを作成し、構造データ型を割り当てます。
  2. 構造ポートの型設定を指定します。
    構造ポートの複合データ型定義を参照する必要があります。
  3. 複合関数を持つ式を作成し、構造データを生成します。
構造データを変更します。
構造データをリレーショナルデータまたは階層データに変換できます。構造データにプリミティブデータ型の要素が含まれる場合、要素をリレーショナルデータとして抽出できます。構造データに複合データ型の要素が含まれる場合、要素を階層データとして抽出できます。マッピングシナリオに基づいて、階層変換ウィザードのいずれかを使用し、構造データを変更します。次の手順を手動で実行することもできます。
  1. 抽出する構造データの要素と一致するポートプロパティを持つ出力ポートを作成します。
  2. 複合演算子または複合関数を持つ式を作成し、構造データを変更します。
配列データを生成します。
  1. トランスフォーメーション内にポートを作成し、配列データ型を割り当てます。
  2. 配列ポートの型設定を指定します。
  3. 複合関数を持つ式を作成し、配列データを生成します。
配列データを変更します。
配列データをリレーショナルデータまたは階層データに変換できます。配列データにプリミティブデータ型の要素が含まれる場合、要素をリレーショナルデータとして抽出できます。配列データに複合データ型の要素が含まれる場合、要素を階層データとして抽出できます。マッピングシナリオに基づいて、階層変換ウィザードのいずれかを使用し、配列データを変更します。次の手順を手動で実行することもできます。
  1. 抽出する配列データの要素と一致するポートプロパティを持つ出力ポートを作成します。
  2. 複合演算子または複合関数を持つ式を作成し、配列データを変更します。
マップデータを生成します。
  1. トランスフォーメーション内にポートを作成し、マップデータ型を割り当てます。
  2. マップポートの型設定を指定します。
  3. 複合関数を持つ式を作成しマップデータを生成します。
マップデータを変更します。
マップデータをリレーショナルデータまたは階層データに変換できます。マップデータにプリミティブデータ型の要素が含まれる場合、要素をリレーショナルデータとして抽出できます。マップデータに複合データ型の要素が含まれる場合、要素を階層データとして抽出できます。マッピングシナリオに基づいて、階層変換ウィザードのいずれかを使用し、マップデータを変更します。次の手順を手動で実行することもできます。
  1. 抽出するマップデータの要素と一致するポートプロパティを持つ出力ポートを作成します。
  2. 複合演算子または複合関数を持つ式を作成し、マップデータを変更します。
トランスフォーメーションを設定する。
マッピングロジックに基づいて、ポートをリンクしトランスフォーメーションプロパティを設定します。
マッピングプロパティを設定します。
以下のマッピングランタイムプロパティを設定します。
  • Sparkエンジンで実行するには、Spark検証環境と、実行環境としてHadoopを選択します。
  • Databricks Sparkエンジンで実行するには、Databricks Spark検証環境と、実行環境としてHadoopを選択します。
マッピングを検証して実行します。
  1. マッピングを検証してエラーを特定および修正します。
  2. 必要に応じて、エンジン実行プランを表示し、ロジックをデバッグします。
  3. マッピングを実行します。