はじめに
トランスフォーメーション
- アクティブなトランスフォーメーションとパッシブなトランスフォーメーション
- トランスフォーメーションタイプ
- ライセンス取得済みトランスフォーメーション
- 受信フィールド
  - フィールド名の競合
    - フィールド名の競合の解決の作成
  - フィールドルール
- データオブジェクトのプレビュー
- 変数フィールド
- トランスフォーメーションキャッシュ
- 式マクロ
- ファイルリスト
- マルチバイト階層データの設定
ソーストランスフォーメーション
- ソースオブジェクト
- ファイルソース
- データベースソース
- Webサービスソース
- パーティション
  - パーティション化に関するルールおよびガイドライン
  - パーティション化の例
- 詳細モードでの階層データの読み取り
- 詳細モードでのドキュメントの読み取り
- マルチバイト階層データの設定
- ソースフィールド
  - 複合ファイルソースのネイティブデータ型の編集
  - トランスフォーメーションのデータ型の編集
ターゲットトランスフォーメーション
- ターゲットオブジェクト
  - 詳細クラスタでのターゲットファイルの作成
- ファイルターゲット
- データベースのターゲット
- Webサービスのターゲット
  - ターゲットのWebサービス操作
  - Webサービスターゲットのフィールドマッピング
- パーティション
- 詳細モードでの階層データの書き込み
- マルチバイト階層データの設定
- ターゲットフィールド
- ターゲットトランスフォーメーションのフィールドマッピング
- ターゲットトランスフォーメーションの設定
アクセスポリシートランスフォーメーション
- アクセスポリシートランスフォーメーションでのパラメータの使用
- データフィルタポリシーのベストプラクティス
- アクセスポリシートランスフォーメーションの設定
- アクセスポリシートランスフォーメーションの例
アグリゲータトランスフォーメーション
- グループ化フィールド
- ソート済みデータ
- 集計フィールド
- 詳細プロパティ
- 詳細モードの階層データ
- アグリゲータトランスフォーメーションの例
B2Bトランスフォーメーション
- B2B受信フィールド
- B2B設定
- 出力フィールド
- フィールドマッピング
- 詳細設定
チャンキングトランスフォーメーション
- チャンキング方法
- チャンキング出力フィールド
クレンジングトランスフォーメーション
- クレンジングトランスフォーメーションの設定
  - クレンジングアセットの考慮事項
  - データ品質アセットの同期
- クレンジングトランスフォーメーションのフィールドマッピング
- クレンジングトランスフォーメーションの出力フィールド
- 詳細プロパティ
データマスキングトランスフォーメーション
- マスキング方法
- マスキング方法の設定プロパティ
- クレジットカードマスキング
- 電子メールマスキング
  - 詳細電子メールマスキング
- IPアドレスマスキング
- キーマスキング
- 電話番号マスキング
- ランダムマスキング
- 社会保険番号マスキング
- 社会保障番号（SSN）マスキング
- カスタム置換マスキング
- 依存マスキング
  - 依存マスキングパラメータ
- 置換マスキング
- URLアドレスマスキング
- マスクルールパラメータ
- マスクルールパラメータの例
  - パラメータを使用したマッピングの作成
  - マッピングを実行します
- データマスキングトランスフォーメーションの作成
- マスクされた一貫性のある出力
  - ルールおよびガイドライン
  - 例
- データマスキングトランスフォーメーション例
データサービストランスフォーメーション
- 動的サービス名
- ステータストレースメッセージ
- データサービスのプロパティ
- データサービストランスフォーメーションの入力フィールド
- データサービストランスフォーメーションの出力フィールド
- データサービストランスフォーメーションフィールドのマッピング
重複排除トランスフォーメーション
- 重複排除および統合操作
- IDポピュレーションデータ
- 重複分析におけるグループ
  - 例: グループキーカラムの選択
- 重複排除トランスフォーメーションの設定
- 重複排除トランスフォーメーションのフィールドマッピング
- 重複排除トランスフォーメーションのメタデータフィールド
- リンクスコアとドライバスコア
- 重複排除トランスフォーメーションの出力フィールド
- 詳細プロパティ
式トランスフォーメーション
- 式フィールド
- 式エディタ
- 式のトランスフォーメーション言語コンポーネント
- 式の構文
- 文字列リテラルと数値リテラル
- 式へのコメント追加
- 予約語
- ウィンドウ関数
  - フレーム
  - パーティションキーおよびオーダーキー
- 例: ウィンドウを使用した有効期限の計算
- 例: ウィンドウを使用したGPS pingのフラグ付け
- 例: ウィンドウでの集計関数の実行
- 詳細プロパティ
- 詳細モードの階層データ
フィルタトランスフォーメーション
- フィルタ条件
- 詳細プロパティ
- 詳細モードの階層データ
階層ビルダートランスフォーメーション
- 出力の設定
- データトランスフォーメーション用のフィールドの結合とマッピング
  - 受信データの結合
  - 階層フィールドへのリレーショナルフィールドのマッピング
- 詳細プロパティの設定
- マルチバイト階層データの設定
- 階層ビルダトランスフォーメーションの例
階層パーサートランスフォーメーション
- 階層パーサートランスフォーメーションの使用
- 階層パーサーのルールとガイドライン
- サンプルファイルまたはスキーマファイルの選択
- 階層スキーマ
  - 階層スキーマのルールとガイドライン
  - 階層スキーマの作成
- 入力設定
  - 階層スキーマの選択
  - サンプルからの階層スキーマの作成
- 入力フィールド選択
- フィールドマッピング
  - 変換する要素の選択
- 出力フィールド
- 出力グループの選択
- マルチバイト階層データの設定
- 階層パーサートランスフォーメーションの例
階層プロセッサトランスフォーメーション
- 階層プロセッサトランスフォーメーションの概要
- リレーショナル出力の処理
- 階層出力の処理
- フラット化された出力の処理
入力トランスフォーメーション
- 入力フィールド
Javaトランスフォーメーション
- Javaトランスフォーメーションの定義
- クラスパス設定
- Javaトランスフォーメーションのフィールド
- Javaトランスフォーメーションプロパティの設定
- Javaコードの開発
- コードのコンパイル
  - クラスコード全体の表示
- Javaトランスフォーメーションのトラブルシューティング
  - コンパイルエラーのソースの検出
  - エラータイプの特定
- Javaトランスフォーメーションの例
JavaトランスフォーメーションAPIリファレンス
- failSession
- generateRow
- getInRowType
- incrementErrorCount
- invokeJExpression
- isNull
- logError
- logInfo
- setNull
- setOutRowType
ジョイナトランスフォーメーション
- 結合条件
- 結合タイプ
- 詳細プロパティ
- 詳細モードの階層データ
- ジョイナトランスフォーメーションの作成
- ジョイナトランスフォーメーションの例
ラベラトランスフォーメーション
- ラベラトランスフォーメーションの設定
- ラベラトランスフォーメーションのフィールドマッピング
- ラベラトランスフォーメーションの出力フィールド
ルックアップトランスフォーメーション
- ルックアップオブジェクト
  - ルックアップオブジェクトのプロパティ
    - 複数一致ポリシーの制限
  - カスタムクエリ
- ルックアップ条件
- ルックアップの戻りフィールド
- 詳細プロパティ
- ルックアップSQLオーバーライド
- ルックアップソースフィルタ
- 動的ルックアップキャッシュ
- 永続ルックアップキャッシュ
  - ルックアップキャッシュの再構築
- 接続されていないルックアップ
  - 接続されていないルックアップトランスフォーメーションの設定
  - 別のトランスフォーメーションからの接続されていないルックアップの呼び出し
- 接続されているルックアップの例
- 動的ルックアップの例
- 接続されていないルックアップの例
機械学習トランスフォーメーション
- RESTエンドポイントとしてのモデルのデプロイ
- 機械学習モデルへのアクセス
- 要求スキーマへのフィールドのマッピング
  - 階層フィールドのマッピング
  - 要求マッピングのオプション
- 応答フィールドの表示
- 一括要求の設定
  - 一括要求オプション
- APIプロキシの設定
- トラブルシューティング
- エラー処理
- 機械学習トランスフォーメーションの例
マップレットトランスフォーメーション
- マップレットトランスフォーメーションの設定
- マップレットの選択
- マップレットトランスフォーメーションのフィールドマッピング
- マップレットパラメータ
- マップレットトランスフォーメーションの出力フィールド
- マップレットトランスフォーメーション名
- マップレットの同期
ノーマライザトランスフォーメーション
- 正規化されたフィールド
- ノーマライザフィールドマッピング
  - ノーマライザフィールドマッピングのオプション
- 詳細プロパティ
- ノーマライザトランスフォーメーションのターゲット設定
- パラメータ化されたソースのノーマライザフィールドルール
- ノーマライザとアグリゲータのマッピング例
出力トランスフォーメーション
- 出力フィールド
  - 受信フィールドに基づいて出力フィールドを生成
- フィールドマッピング
解析トランスフォーメーション
- 解析トランスフォーメーションの設定
- 解析トランスフォーメーションのフィールドマッピング
- 解析トランスフォーメーションの出力フィールド
- 詳細プロパティ
Pythonトランスフォーメーション
- Pythonのインストールと設定
- Pythonトランスフォーメーションのフィールド
- アクティブPythonトランスフォーメーションとパッシブPythonトランスフォーメーション
- リソースファイル
- Pythonコードの開発
  - Pythonコードスニペットの作成
  - リソースファイルの参照
- 例: IDカラムの非パーティション化データへの追加
- 例: 最も高い給与を検索するパーティションの使用
- 例: トレーニング済みモデルの運用可能化
ランクトランスフォーメーション
- 文字列値のランク付け
- ランクキャッシュ
- ランクトランスフォーメーションの定義
- ランクトランスフォーメーションのフィールド
- ランクプロパティの定義
- ランクグループの定義
- 詳細プロパティ
- 詳細モードの階層データ
- ランクトランスフォーメーションの例
ルータトランスフォーメーション
- グループに関する作業
  - 出力グループを接続するためのガイドライン
- グループフィルタ条件
  - グループフィルタ条件の設定
- 詳細プロパティ
- 詳細モードの階層データ
- ルータトランスフォーメーションの例
ルール仕様トランスフォーメーション
- ルール仕様トランスフォーメーションの設定
- ルール仕様トランスフォーメーションのフィールドマッピング
- ルール仕様トランスフォーメーションの出力フィールド
- 詳細プロパティ
シーケンストランスフォーメーション
- シーケンストランスフォーメーションの使用
- シーケンスの出力フィールド
- シーケンスのプロパティ
  - 受信フィールドの無効化
- 詳細モードの階層データ
- シーケンストランスフォーメーションのルールおよびガイドライン
- シーケンストランスフォーメーションの例
ソータートランスフォーメーション
- ソート条件
- ソーターキャッシュ
- 詳細プロパティ
- 詳細モードの階層データ
- ソータートランスフォーメーションの例
SQLトランスフォーメーション
- ストアドプロシージャまたはストアド関数の処理
- ストアドプロシージャの処理のための接続済または未接続SQLトランスフォーメーション
- 接続されていないSQLトランスフォーメーション
- クエリ処理
- SQLトランスフォーメーションの設定
構造パーサートランスフォーメーション
- Hadoopファイルソースからの入力の処理
- フラットファイルソースからの入力の処理
  - フラットファイルソースの設定
  - フラットファイルにアクセスするための構造パーサートランスフォーメーションの設定
- 構造パーサーフィールドマッピング
- 出力フィールド
- 詳細プロパティ
- 構造パーサートランスフォーメーションの設定
- 構造パーサートランスフォーメーションのルールおよびガイドライン
- 構造パーサートランスフォーメーションの例
トランザクション制御トランスフォーメーション
- トランザクション制御条件
- マッピングでのトランザクション制御トランスフォーメーションの使用
  - 複数のターゲットを持つトランザクション制御マッピングの例
- マッピングでのトランザクション制御トランスフォーメーションの使用に関するガイドライン
- 詳細プロパティ
共有体トランスフォーメーション
- ジョイナトランスフォーメーションとの比較
- 共有体トランスフォーメーションの使用の計画
- 入力グループ
- 出力フィールド
- フィールドマッピング
- 詳細プロパティ
- 共有体トランスフォーメーション例
ベクトル埋め込みトランスフォーメーション
- ベクトル埋め込み方法
- ベクトル埋め込み出力フィールド
Velocityトランスフォーメーション
- Velocityトランスフォーメーションの入力形式
  - ファイルソースのソース設定
- Velocityテンプレート
- テンプレートのテスト
- Velocityトランスフォーメーションの出力
  - ファイルターゲットのターゲット設定
- Velocityトランスフォーメーションのパーサー
- 例
  - XML変換の例
  - JSON変換の例
ベリファイヤトランスフォーメーション
- アドレス参照データ
- ベリファイヤトランスフォーメーションの設定
- ベリファイヤトランスフォーメーションのフィールドマッピング
  - 入力マッピングおよび出力マッピングの理解
- ベリファイヤトランスフォーメーションの出力フィールド
- 詳細プロパティ
Webサービストランスフォーメーション
- Webサービスコンシューマ接続の作成
- ビジネスサービスを定義する
- Webサービストランスフォーメーションの設定
- Webサービストランスフォーメーションの例
- マルチバイト階層データの設定

トランスフォーメーション

前へ次へ

構造パーサートランスフォーメーションのルールおよびガイドライン

構造パーサートランスフォーメーションを使用する場合は、次のルールおよびガイドラインを考慮してください。

Mapping Designerで構造パーサートランスフォーメーションを含むマッピングを開き、トランスフォーメーションに関連付けられている

インテリジェント構造モデル

を変更した場合、Mapping Designerにメッセージが表示されます。メッセージ内に提示されるリンクをクリックして、マッピングに適合するようにモデルを更新します。

すべての出力フィールドに文字列データ型が割り当てられていた古いバージョンの

インテリジェント構造検出

で作成された

インテリジェント構造モデル

を更新すると、更新中に構造パーサートランスフォーメーションによってフィールドデータ型が変更される可能性があります。影響を受けるフィールドのいずれかにおいて、ダウンストリームトランスフォーメーションまたはターゲットに文字列が必要である場合は、データ型を文字列に戻すようにモデルを編集します。次に、Mapping Designerで提示されたリンクをクリックして、トランスフォーメーション内のモデルを再度更新します。

インテリジェント構造モデル

を編集する方法については、「

コンポーネント

」を参照してください。

次の条件がすべて当てはまる場合、構造パーサートランスフォーメーションはXSD入力ファイル内の再帰的要素を解析できます。

再帰的要素が繰り返し要素内にネストされていない。

再帰的要素に常に同じ名前の要素が使用されている。

構造パーサートランスフォーメーションが詳細モードのマッピングで使用されていない。

トランスフォーメーションで再帰的要素を解析できない場合は、単一の出力グループにデータが出力されます。このトランスフォーメーションでは、2023年10月リリース以降に作成されたマッピング、または2023年10月リリースにアップグレードした後にスキーマファイルを再アップロードした場合に、マッピング内の再帰的要素を解析できます。

マップレットで構造パーサートランスフォーメーションを使用する場合は、ランタイムエラーを防ぐために、組み合わせたマップレットトランスフォーメーション名が80文字を超えないようにしてください。詳細については、マップレットトランスフォーメーション名を参照してください。

詳細モードのマッピングに関するルールとガイドライン

詳細モードのマッピングで構造パーサートランスフォーメーションを使用する場合は、次のルールおよびガイドラインを考慮してください。

詳細モードでは、構造パーサートランスフォーメーションはJSONオブジェクトを入力として処理できますが、JSON配列は処理できません。

詳細モードのデフォルトでは、ソースデータのスキーマと、トランスフォーメーションに関連付けられたインテリジェント構造モデルのスキーマが正確に一致する必要があり、トランスフォーメーションはパススルーフィールドを処理できません。パススルーフィールドを処理するには、マッピングタスクのSparkセッションプロパティで次のSparkカスタムプロパティを設定します:

Spark.MSPEnableUnassigedData=true

このプロパティを設定すると、出力グループにはUnassignedDataという配列が含まれます。この配列には、インテリジェント構造によって識別されなかったデータが含まれています。