目次

Search

  1. はじめに
  2. 詳細クラスタ
  3. AWSの設定
  4. Google Cloudの設定
  5. Microsoft Azureの設定
  6. セルフサービスクラスタの設定
  7. ローカルクラスタの設定
  8. 詳細設定
  9. トラブルシューティング
  10. 付録 A: コマンドリファレンス

詳細クラスタ

詳細クラスタ

クラスタファイルのストレージアカウントの作成

クラスタファイルのストレージアカウントの作成

Azure Data Lake Storage Gen2を使用してデータを格納できます。
Azureで、階層名前空間を使用して次のストレージアカウントを作成します。
  • 次の場所を使用したストレージアカウント:
    • クラスタがランタイムにステージングファイルを保存するために使用する場所
    • クラスタ上で実行される
      詳細ジョブ
      用のログファイルを保存するためにクラスタが使用する場所
  • オプションで、
    クラスタに追加のソフトウェアをインストールするためにクラスタノードが実行する初期化スクリプトを格納できる
    ストレージアカウント
次に、これらのストレージアカウントを
storage_resource_group
という名前のリソースグループに追加します。
ステージングの場所には、クラスタがクラスタノード全体に配布するアーティファクトやマッピングでプレビューするデータなどの一時データが格納されます。エラーにより、マッピングでステージングの場所のプレビューデータをクリアできない可能性があるため、ステージングの場所にアクセスできるユーザーがソースデータの表示を許可されていることを確認してください。
初期化スクリプトを作成する場合は、スクリプトを適切な場所に追加します。