ステートフルコンピューティングは、一部の状態を取得して、新しい状態と共に値を返す機能です。

ステートフルコンピューティングを実行するために、ウィンドウ関数を使用できます。ウィンドウ関数は、大規模なデータセットから小さいサブセットを取得して、処理と分析を行います。

ウィンドウ関数は、行のグループに対して動作し、各入力行の戻り値を計算します。ウィンドウ関数のこの特徴により、ウィンドウ関数なしでは簡潔に表現することが難しいデータ処理タスクを簡単に表現できるようになります。

ウィンドウ関数を使用して、次のタスクを実行します。

アップストリームまたはダウンストリームの行からデータを取得します。
行のグループに基づいて累積合計を計算します。
行のグループに基づいて累積平均を計算します。

式トランスフォーメーションにウィンドウ関数を定義する前に、ウィンドウ化プロパティを構成してウィンドウを記述する必要があります。ウィンドウ化プロパティには、フレーム仕様、パーティションキー、およびオーダーキーが含まれます。フレーム仕様では、現在の行の全体的な計算に含まれる行を指定します。パーティションキーは、同じパーティション内にある行を決定します。オーダーキーは、パーティション内の行の順序を決定します。

ウィンドウ化プロパティを構成した後、式トランスフォーメーションでウィンドウ関数を定義します。Sparkは、ウィンドウ関数のLEADとLAGをサポートしています。式トランスフォーメーションでは、集計関数をウィンドウ関数として使用することもできます。