データをプレビューするとき、Developer toolはデータ統合サービスに要求を送信します。データ統合サービスは、データプレビューサービスモジュールを使用して、プレビューポイントに基づいてジョブをネイティブ環境で実行するか非ネイティブ環境で実行するかを決定します。プレビューポイントは、データを表示するよう選択したマッピング内のオブジェクトです。

データプレビュージョブは、データ統合サービスまたはSparkエンジンのいずれかで実行されます。Sparkエンジンは、次の場合にジョブを実行します。

プレビューポイントまたはアップストリームトランスフォーメーションに、階層データが含まれる。
プレビューポイントまたはアップストリームトランスフォーメーションがPythonトランスフォーメーションである。
プレビューポイントまたはアップストリームトランスフォーメーションがウィンドウ処理用に構成された式トランスフォーメーションである。
マッピングに、Sparkエンジンでの実行が必要なトランスフォーメーションの組み合わせが含まれる。

Sparkエンジンがデータプレビュージョブを実行すると、ジョブでは、構成したクラスタディストリビューションに応じて、Spark Jobserverまたはspark-submitスクリプトが使用されます。Sparkジョブサーバーをサポートする配布を使用してマッピング設定する場合、データプレビューサービスモジュールはSparkジョブサーバーを使用してSparkエンジン上でプレビュージョブを実行します。そうではない場合、データプレビューサービスモジュールはSpark送信スクリプトを使用します。

サポートされるクラスタディストリビューションの詳細については、

Data Engineering Integrationユーザーガイド

を参照してください。

Spark Jobserverを使用するプレビュー要求をデータ統合サービスが受信すると、データプレビューサービスモジュールはSpark Jobserverを開始し、LDTMにマッピングを渡します。LDTMはSparkワークフローを生成し、SparkジョブサーバーはHadoopクラスタ上でジョブを実行します。データプレビュージョブは、設定済みのHDFSステージングディレクトリで結果をステージングします。データ統合サービスは、ステージングされたデータをDeveloper toolに渡します。