詳細クラスタ

前へ次へ

リソース要件の再設定

デフォルトの要件を満たすための十分なリソースを用意できない場合は、一部の要件を再設定できます。

以下のコンポーネントの要件を再設定できます。

Sparkシャッフルサービス: シャッフルサービスを無効にすると、
Sparkエンジン
で動的割り当てを使用出来なくなります。詳細については、Informaticaグローバルカスタマサポートにお問い合わせください。
Sparkドライバ: Sparkドライバのメモリ量を再設定するには、
マッピング
タスクでSparkセッションプロパティ
spark.driver.memory
を使用します。GB単位でメモリを設定する場合は、「2G」などの値を使用します。MB単位でメモリを設定する場合は、「1500m」などの値を使用します。

SparkドライバのCPU要件の再設定の詳細については、Informaticaグローバルカスタマサポートにお問い合わせください。
Spark Executor: Spark Executorのメモリ量を再設定するには、
マッピング
タスクでSparkセッションプロパティ
spark.executor.memory
を使用します。Sparkドライバのメモリ値と同様に、メモリをGBまたはMB単位で指定できます。
また、Sparkセッションプロパティ
spark.executor.cores
を使用してSpark Executorコアの数を変更することもできます。GPU対応クラスタのデフォルトのコア数は4です。他のすべてのクラスタのデフォルトのコア数は2です。

コア数を編集する場合は、同時に実行するSparkタスクの数を変更します。例えば、spark.executor.cores=2と設定すると、2つのSparkタスクを各Spark Executor内部で同時に実行できます。

Spark ExecutorのCPU要件の再設定の詳細については、Informaticaグローバルカスタマサポートにお問い合わせください。