目次

Search

  1. はじめに
  2. Informatica Data Engineering Integrationについて
  3. マッピング
  4. マッピングの最適化
  5. ソース
  6. ターゲット
  7. トランスフォーメーション
  8. Pythonトランスフォーメーション
  9. データプレビュー
  10. クラスタワークフロー
  11. プロファイル
  12. 監視
  13. 階層データ処理
  14. 階層データ処理設定
  15. スキーマが変更された階層データの処理
  16. インテリジェント構造モデル
  17. ブロックチェーン
  18. ステートフルコンピューティング
  19. 付録 A: 接続リファレンス
  20. 付録 B: データ型リファレンス
  21. 付録 C: 関数リファレンス

ユーザーガイド

ユーザーガイド

Databricksスキーマの進化

スキーマの強制と進化により、Databricksテーブルスキーマの変更を管理できます。スキーマの変更を管理するためのさまざまなストラテジを選択できます。
スキーマの強制は、Databricksテーブルスキーマの変更を監視し、ターゲットテーブルスキーマと一致しない変更を拒否します。Databricksが変更を拒否すると、書き込みトランザクションがキャンセルされ、例外がログに記録されます。ターゲットに新しいカラムを組み込むことを決定した場合、スキーマの進化により、制御された方法でそれらをターゲットに追加できます。スキーマの進化は、スキーマ検証とも呼ばれます。
スキーマの進化を使用するには、ターゲットDatabricksワークスペースでスキーマの強制を無効にする必要があります。
Databricksスキーマの強制と進化の詳細については、『Databricks documentation』を参照してください。
Developerツールを使用して、スキーマの進化をマッピングに適用し、Databricksターゲットテーブルを更新します。
次のストラテジを使用して、スキーマの進化を有効にすることができます。
  • CREATE。CREATEストラテジを使用するようにマッピングを設定する場合、既存のターゲットテーブルを削除し、新しいスキーマを使用するターゲットテーブルに置き換えます。
    マッピングは、既存のターゲットテーブルとそのすべての既存のデータを削除し、ソースとそのデータのすべてのカラムを使用してターゲットテーブルを再作成します。その後、マッピングが実行されるたびに、マッピングはそのデータを含むターゲットテーブルを削除し、ソーススキーマからターゲットテーブルを再作成します。
  • pre-SQLを使用したRETAIN。RETAINストラテジを使用するようにマッピングを設定する場合は、pre-SQL文を使用して、スキーマの変更されたカラムのサブセットを既存のターゲットテーブルに追加します。既存のターゲットデータも保持されます。pre-SQLクエリをパラメータ化するか、パラメータセットを置き換えることができます。
  • post-SQLを使用したCREATE。post-SQLを使用したCREATEストラテジを使用するようにマッピングを設定する場合は、スキーマの変更されたカラムのサブセットを既存のターゲットテーブルに追加します。既存のターゲットデータも保持されます。マッピングは、選択された新しいカラムから一時テーブルにソースデータをロードし、post-SQL文がそれを既存のターゲットテーブルスキーマにマージします。post-SQLクエリをパラメータ化するか、パラメータセットを置き換えることができます。
次の条件では、スキーマの進化を使用できません。
  • テーブルアクセス制御が有効になっている場合。
  • pre-SQLまたはpost-SQLに
    INSERT INTO
    または
    .write.insertInto()
    句が含まれている場合。