目次

Search

  1. はじめに
  2. 詳細クラスタ
  3. AWSの設定
  4. Google Cloudの設定
  5. Microsoft Azureの設定
  6. セルフサービスクラスタの設定
  7. ローカルクラスタの設定
  8. 詳細設定
  9. トラブルシューティング
  10. 付録 A: コマンドリファレンス

詳細クラスタ

詳細クラスタ

GPUワーカーインスタンスタイプ

GPUワーカーインスタンスタイプ

詳細設定
のワーカーインスタンスタイプの設定時に、GPU対応のインスタンスタイプを選択できます。GPU対応のインスタンスタイプを選択すると、GPU対応クラスタが作成されます。GPUは大規模な並列アーキテクチャを使用して並行処理を高速化するため、多くの場合、パフォーマンスが向上します。
g4およびp3インスタンスファミリでワーカーインスタンスタイプを選択できます。これらのインスタンスタイプの詳細については、AWSのドキュメントを参照してください。
組織で送信プロキシサーバーを使用している場合は、Secure Agentマシンから次のドメインへのトラフィックを許可します。

    .docker.io

    .docker.com

    .nvidia.com

    .nvidia.github.io

GPU対応クラスタを作成する場合、Spark Executorはそれぞれデフォルトで1つのGPUと4つのSpark Executorコアを使用します。Sparkセッションプロパティ
spark.executor.cores
を使用してSpark Executorコアの数を変更できます。
GPUで実行できるクラスタに送信されたすべてのマッピングは、GPUで実行されます。GPUで実行できないマッピングのSparkタスクは、代わりにCPUで実行されます。GPUで実行されるSparkジョブとCPUで実行されるジョブを確認するには、ジョブの完了後にSparkイベントログを確認してください。
GPUで実行されるタスクの出力は、タスクがCPUで実行された場合の出力とは異なる場合があります。例えば、浮動小数点値の四捨五入が異なる場合があります。処理の違いに関する詳細については、Spark RAPIDSのドキュメントを参照してください。
GPU対応クラスタで実行されるマッピングのルールとガイドラインについては、データ統合ヘルプを参照してください。