ストリームデータをデータグループに集約し、データセットを処理する場合は、ウィンドウトランスフォーメーションを使用します。ウィンドウトランスフォーメーションは、パッシブトランスフォーメーションです。

バインドされていないソースから読み取る場合は、以降の処理のためにデータをバインドされたデータグループに集約することができます。バインドされた間隔をバインドされていないデータに導入するには、ウィンドウトランスフォーメーションを使用します。

ウィンドウトランスフォーメーションを設定するときは、ウィンドウのタイプと、時間ごとのデータ境界を定義します。データ境界を指定するには、ウィンドウサイズとウィンドウのスライド間隔を設定します。ウィンドウサイズは、データがデータグループとして集約される時間間隔を定義します。スライド間隔は、集約されたデータグループがさらに処理されるまでの時間間隔を定義します。ウォーターマーク遅延では、データグループに集約される遅延イベントのしきい値時間を定義します。

ウィンドウトランスフォーメーションは、Sparkエンジンでのストリーミングマッピングに対してのみ実行できます。

ウィンドウトランスフォーメーションの詳細については、『

Data Engineering Streamingユーザーガイド

』を参照してください。