目次

Search

  1. はじめに
  2. Informatica Data Engineering Integrationについて
  3. マッピング
  4. マッピングの最適化
  5. ソース
  6. ターゲット
  7. トランスフォーメーション
  8. Pythonトランスフォーメーション
  9. データプレビュー
  10. クラスタワークフロー
  11. プロファイル
  12. 監視
  13. 階層データ処理
  14. 階層データ処理設定
  15. スキーマが変更された階層データの処理
  16. インテリジェント構造モデル
  17. ブロックチェーン
  18. ステートフルコンピューティング
  19. 付録 A: 接続リファレンス
  20. 付録 B: データ型リファレンス
  21. 付録 C: 関数リファレンス

ユーザーガイド

ユーザーガイド

Lookup Transformation on the Spark Engine

Lookup Transformation on the Spark Engine

Some processing rules for the Spark engine differ from the processing rules for the Data Integration Service.

Complex Data Types

You can use a port with a complex data type as the input port or lookup port in the lookup condition. To use a port with a complex data type in the lookup condition, specify the condition by parameter.

複数一致

ルックアップトランスフォーメーションは、トランスフォーメーションで設定された条件に基づいて値を検索します。ルックアップソース内の複数一致を処理する方法を選択します。
最初の行を返す、最後の行を返す
トランスフォーメーションは、最初に一致した結果または最後に一致した結果を返します。
データ統合サービスは、結果を順序付けして最初と最後の行を識別します。次のルールで結果の順序が決まります。
  • 順序は、ルックアップ条件に含まれるルックアップポートとルックアップ出力ポートによって決まります。
  • 数値のソートは昇順です。
  • 文字列値のソートは辞書順です。
  • 日付値のソートは最も早い日付から始まります。
  • マッピングに非等価結合(<=,>=,<,>,! =)比較が含まれていて、一部の行にNULL値が含まれている場合、ランタイムエンジンによって結果が次のように異なる場合があります。
任意の行を返す
トランスフォーメーションは、ルックアップ条件に一致するいずれかの行を返します。トランスフォーメーションは、すべてのルックアップトランスフォーメーションポートではなく、キーポートに基づいてインデックスを作成します。このオプションを選択すると、行のインデックス作成プロセスが単純化されるため、パフォーマンスを改善できます。
すべての行を返す
ルックアップトランスフォーメーションは、ルックアップ条件を満たすすべての行を返します。
エラーを報告
ルックアップトランスフォーメーションが静的キャッシュを使用する、またはキャッシュを使用しない場合、データ統合サービスは行をエラーとしてマークします。ルックアップトランスフォーメーションは、デフォルトでその行をセッションログに書き込み、エラー数を1つ増やします。
ルックアップトランスフォーメーションに動的キャッシュが含まれる場合、データ統合サービスは複数の一致を検出したときにセッションに失敗します。データ統合サービスがルックアップテーブルをキャッシュしている間、または重複するキー値をルックアップしている間、セッションは失敗します。
また、更新時に古い値を出力するようにルックアップトランスフォーメーションを設定した場合、複数の一致が検出されるとルックアップトランスフォーメーションはエラーを返します。トランスフォーメーションは、すべてのルックアップトランスフォーメーションポートではなく、キーポートに基づいてインデックスを作成します。

Rules and Guidelines

マッピング検証は、次の場合に失敗します。
  • 大文字小文字の区別が無効。
  • ルックアップ条件にバイナリデータ型が含まれる。
  • キャッシュが共有、名前付き、動的、キャッシュを使用しないように設定された。キャッシュは静的キャッシュである必要があります。
The mapping fails in the following situation:
  • The transformation is unconnected and used with a Joiner or Java transformation.
HBaseルックアップで一致が検出されない場合は、すべてのカラムがNULL値である行が生成されます。ルックアップトランスフォーメーションの後にフィルタトランスフォーメーションを追加して、NULL値を除外することができます。