目次

Search

  1. はじめに
  2. Informatica Data Engineering Integrationについて
  3. マッピング
  4. マッピングの最適化
  5. ソース
  6. ターゲット
  7. トランスフォーメーション
  8. Pythonトランスフォーメーション
  9. データプレビュー
  10. クラスタワークフロー
  11. プロファイル
  12. 監視
  13. 階層データ処理
  14. 階層データ処理設定
  15. スキーマが変更された階層データの処理
  16. インテリジェント構造モデル
  17. ブロックチェーン
  18. ステートフルコンピューティング
  19. 付録 A: 接続リファレンス
  20. 付録 B: データ型リファレンス
  21. 付録 C: 関数リファレンス

ユーザーガイド

ユーザーガイド

JSONファイルを使用したクラスタの作成プロパティの設定

JSONファイルを使用したクラスタの作成プロパティの設定

JSONファイルを使用して、Databricksパラメータをクラスタの作成ワークフローに渡すことができます。JSONファイルは簡単に編集できるため、エフェメラルクラスタの要件が頻繁に変更される場合は、この方法を使用することをお勧めします。
JSONファイルを使用してクラスタの作成プロパティを設定する場合は、クラスタの作成タスクで環境変数も設定する必要があります。タスクは環境変数をデータ統合サービスに渡し、データ統合サービスはJSONファイルからプロパティを読み取ります。
カスタムパラメータをクラスタの作成プロセスに渡す場合は、任意のキーと値のペアを含めることができます。
JSONファイルには、spark_version、node_type_id、およびnum_workersまたはautoscaleという3つのプロパティが必要です。以下の表に、必須パラメータを示します。
プロパティ
説明
spark_version
クラスタで使用するSparkのバージョン。必須。
node_type_id
AWSまたはAzureでサポートされているノードタイプの1つとして表されるノードタイプとサイズ。必須。
num_workers
クラスタ内のワーカーノードの数。
autoscaleパラメータを使用しない場合に必須です。
autoscale
自動スケールを使用するクラスタを作成するには、autoscale=trueを使用します。
num_workersパラメータを使用しない場合に必須です。
サポートされているすべてのパラメータは、Databricks documentationで確認できます。