Amazon EBSボリュームは、Amazon EC2インスタンスにローカルストレージとしてアタッチされます。このローカルストレージを使用して、

サーバーレスSparkエンジン

が

詳細ジョブ

を実行するために必要とする情報を格納します。例えば、ローカルストレージを使用して、Spark画像の内容を保存します。また、

Sparkエンジン

では、データロジックの処理や処理中のデータ保持にもローカルストレージが必要となります。

詳細クラスタ

をホストするAmazon EC2インスタンスを開始します。1つ目のAmazon EC2インスタンスでマスタノードをホストし、追加のインスタンスでワーカーノードをホストします。

Amazon EC2 Auto Scalingは、ジョブ処理の要件に基づいて、

詳細クラスタ

内のクラスタノードを自動的に追加または削除します。

ロードバランサは、Secure Agentからの受信

詳細ジョブ

を受け入れ、

詳細クラスタ

へのジョブのエントリポイントを提供します。

AWS IAMは、

詳細クラスタ

がAWS環境でどのサービスとリソースを使用できるかを指定するためのアクセス制御を提供します。

詳細クラスタ

のノードがRoute 53を使用した同じクラスタ内の他のノードに情報を伝達します。

詳細クラスタ

は、Amazon S3バケット内にステージングされます。また、Amazon S3を使用して、

詳細ジョブ

に生成されるログを格納します。