目次

Search

  1. はじめに
  2. Informatica Data Engineering Integrationについて
  3. マッピング
  4. マッピングの最適化
  5. ソース
  6. ターゲット
  7. トランスフォーメーション
  8. Pythonトランスフォーメーション
  9. データプレビュー
  10. クラスタワークフロー
  11. プロファイル
  12. 監視
  13. 階層データ処理
  14. 階層データ処理設定
  15. スキーマが変更された階層データの処理
  16. インテリジェント構造モデル
  17. ブロックチェーン
  18. ステートフルコンピューティング
  19. 付録 A: 接続リファレンス
  20. 付録 B: データ型リファレンス
  21. 付録 C: 関数リファレンス

Databricks Sparkエンジンでのルックアップトランスフォーメーション

Databricks Sparkエンジンでのルックアップトランスフォーメーション

Databricks Sparkエンジンの処理ルールには、データ統合サービスの処理ルールと異なるものがあります。

複数一致

複数一致で最初、最後、または任意の値を返すように選択すると、ルックアップトランスフォーメーションは任意の値を返します。
トランスフォーメーションが複数一致でエラーを報告するように設定した場合、Databricks Sparkエンジンは重複した行を削除し、それらの行をログに含めません。
HBaseルックアップで一致が検出されない場合は、すべてのカラムがNULL値である行が生成されます。ルックアップトランスフォーメーションの後にフィルタトランスフォーメーションを追加して、NULL値を除外することができます。

マッピング検証

マッピング検証は、次の場合に失敗します。
  • 大文字小文字の区別が無効。
  • ルックアップ条件にバイナリデータ型が含まれる。
  • ルックアップ条件に複合データ型のフィールドを使用している。
  • キャッシュが共有、名前付き、動的、キャッシュを使用しないように設定された。キャッシュは静的キャッシュである必要があります。
  • ルックアップソースはMicrosoft Azure SQL Data Warehouseではありません。