目次

Search

  1. はじめに
  2. Informatica Data Engineering Integrationについて
  3. マッピング
  4. マッピングの最適化
  5. ソース
  6. ターゲット
  7. トランスフォーメーション
  8. Pythonトランスフォーメーション
  9. データプレビュー
  10. クラスタワークフロー
  11. プロファイル
  12. 監視
  13. 階層データ処理
  14. 階層データ処理設定
  15. スキーマが変更された階層データの処理
  16. インテリジェント構造モデル
  17. ブロックチェーン
  18. ステートフルコンピューティング
  19. 付録 A: 接続リファレンス
  20. 付録 B: データ型リファレンス
  21. 付録 C: 関数リファレンス

ユーザーガイド

ユーザーガイド

DatabricksとDelta Lakeテーブル

DatabricksとDelta Lakeテーブル

マッピングのターゲットとして、マネージドおよびアンマネージドDatabricksテーブルを使用できます。
Delta Lakeは、大きなテーブルにデータを保存するオープンソースのData Lakeリソースです。Databricksは、保存されたデータを管理し、データへの高速アクセスを可能にします。Delta Lakeは、ACIDトランザクションとメタデータのスケーラブルな処理をサポートしています。Databricks Delta Lakeでは、Spark、PrestoDB、Flink、Trino、およびHiveなどのコンピューティングエンジンと、Scala、Java、Rust、およびPythonのAPIを使用してレイクハウスを構築できます。
マッピングは、次のストレージタイプのいずれかに作成したアンマネージドDatabricksテーブルにもアクセスできます。
  • Azure Blob Storage
  • Azure Data Lake Storage(ADLS)Gen1またはGen2
  • Amazon Web Services(AWS)S3
Delta Lakeテーブルにアクセスするマッピングでは、Databricks Sparkエンジンを使用する必要があります。JDBC接続を使用するネイティブ環境でDelta Lakeマッピングを実行すると、マッピングは成功しますが、ターゲットにデータが書き込まれません。
Databricksソーススキーマの変更をDelta Lakeターゲットに適用するように動的マッピングを設定できます。『Databricksスキーマの進化』を参照してください。
Delta Lakeリソースをマッピングで使用するには、リレーショナルデータオブジェクトを作成し、JDBC接続を使用してリソースに接続します。
Delta Lakeターゲットにデータ取り込みを実行するには、ソースがフラットファイルのパススルーマッピングを使用します。