目次

Search

  1. はじめに
  2. Informatica Data Engineering Integrationについて
  3. マッピング
  4. マッピングの最適化
  5. ソース
  6. ターゲット
  7. トランスフォーメーション
  8. Pythonトランスフォーメーション
  9. データプレビュー
  10. クラスタワークフロー
  11. プロファイル
  12. 監視
  13. 階層データ処理
  14. 階層データ処理設定
  15. スキーマが変更された階層データの処理
  16. インテリジェント構造モデル
  17. ブロックチェーン
  18. ステートフルコンピューティング
  19. 付録 A: 接続リファレンス
  20. 付録 B: データ型リファレンス
  21. 付録 C: 関数リファレンス

ウォームプールを使用したDatabricksクラスタの設定

ウォームプールを使用したDatabricksクラスタの設定

AzureおよびAWS Databricksプラットフォームでは、ウォームプールと呼ばれるキャッシュされたVMインスタンスのセットから開始するようにDatabricksエフェメラルクラスタを設定できます。VMインスタンスは、エフェメラルクラスタの作成を実行中の状態でスタンバイで待機します。ウォームプールを有効にすると、プールにアイドル状態のインスタンスが十分含まれている場合に、クラスタの作成にかかる時間が短縮されます。

前提条件

ウォームプールからのエフェメラルクラスタでは、Databricks管理者がDatabricksワークスペースにクラスタプールを作成する必要があります。プール内のVMには使用可能な任意のインスタンスタイプを選択します。
プールの作成時に次のプロパティを設定します。
プロパティ
説明
最小アイドル時間
プール内でアイドル状態で実行し続けるインスタンスの最小数。これらのインスタンスは、[アイドル状態のインスタンスの自動終了]プロパティで指定した設定に関係なく終了しません。
アイドル状態のインスタンスの自動終了
ジョブの完了後に、プールでインスタンスがアイドル状態のまま維持される時間(分)。
プール内のアイドル状態のインスタンスは、[アイドル状態のインスタンスの自動終了]プロパティの値に関係なく終了しません。Amazonでは、プール内のアイドル状態のインスタンスに対して課金されます。

ウォームプールインスタンスを使用するためのクラスタワークフローの設定

Databricksエフェメラルクラスタのウォームプールの有効化は、クラスタの作成タスクの詳細プロパティで行います。
以下の表に、ウォームプールを有効にするためのプロパティを示します。
プロパティ
説明
ウォームプール
ウォームプールを使用したDatabricksクラスタの作成を有効にするには、このオプションをオンにします。
デフォルトはオフ(false)です。
プールID
ウォームプールを有効にする場合は必須。ウォームプールリソースを識別するDatabricksInstancePoolIdプロパティの値。
ウォームプールを有効にすると、クラスタインスタンスの詳細を指定できる詳細プロパティの一部が無効になります。クラスタインスタンスの詳細は、Databricksコンソールでプールを構成するときに設定してください。