目次

Search

  1. はじめに
  2. 詳細クラスタ
  3. AWSの設定
  4. Google Cloudの設定
  5. Microsoft Azureの設定
  6. セルフサービスクラスタの設定
  7. ローカルクラスタの設定
  8. 詳細設定
  9. トラブルシューティング
  10. 付録 A: コマンドリファレンス

詳細クラスタ

詳細クラスタ

クラスタファイルの格納場所の作成

クラスタファイルの格納場所の作成

Google Cloud Storageで、ステージング、ログ、および初期化スクリプトファイルを保存する場所を作成します。
次の格納場所を作成します。
  • クラスタがランタイムにステージングファイルを保存するために使用する場所
  • クラスタ上で実行される
    詳細ジョブ
    用のログファイルを保存するためにクラスタが使用する場所
  • オプションで、
    クラスタに追加のソフトウェアをインストールするためにクラスタノードが実行する初期化スクリプトを格納できる
    場所
ステージングの場所には、クラスタがクラスタノード全体に配布するアーティファクトやマッピングでプレビューするデータなどの一時データが格納されます。エラーにより、マッピングでステージングの場所のプレビューデータをクリアできない可能性があるため、ステージングの場所にアクセスできるユーザーがソースデータの表示を許可されていることを確認してください。
初期化スクリプトを作成する場合は、スクリプトを適切な場所に追加します。