目次

Search

  1. はじめに
  2. 詳細クラスタ
  3. AWSの設定
  4. Google Cloudの設定
  5. Microsoft Azureの設定
  6. セルフサービスクラスタの設定
  7. ローカルクラスタの設定
  8. 詳細設定
  9. トラブルシューティング
  10. 付録 A: コマンドリファレンス

詳細クラスタ

詳細クラスタ

クラスタノードのリソース要件

クラスタノードのリソース要件

詳細設定
でインスタンスタイプを選択する場合、マスタノードとワーカーノードに
詳細ジョブ
を正常に実行するのに十分なリソースがあることを確認してください。

マスタノード

マスタノードでは、少なくとも8 GBのメモリと4個のCPUを使用することをお勧めします。
マスタノードでの処理はネットワーク負荷が高いため、AWS環境ではTインスタンスタイプは避けてください。

ワーカーノード

ワーカーノードには、少なくとも16 GBのメモリと8個のCPUを使用することをお勧めします。
次の表に、ワーカーノードのデフォルトのリソース要件の一覧を示します。
コンポーネント
デフォルトのメモリ要件
デフォルトのCPU要件
Kubernetesシステム
ワーカーノードあたり1 GB
ワーカーノードあたり0.5 CPU、およびクラスタに対して追加で0.5 CPU
Sparkシャッフルサービス
ワーカーノードあたり2 GB
ワーカーノードあたり1 CPU
Sparkドライバ
4 GB
0.75 CPU
Spark Executor
Spark Executorコアあたり6 Gbまたは3 GB
Spark Executorコアあたり1.5 CPUまたは0.75 CPU
デフォルトのリソース要件に基づいて、1つのワーカーノードを持つクラスタには、13 GBのメモリと4.25個のCPUが必要です。
ワーカーノードがクラスタに追加されると、各ワーカーノードは、KubernetesシステムおよびSparkシャッフルサービス用に3 GBのメモリと1.5個のCPUを追加で予約します。したがって、2つのワーカーノードを持つクラスタには、16 GBのメモリと5.75個のCPUが必要です。