目次

Search

  1. はじめに
  2. Informatica Big Data Managementの概要
  3. マッピング
  4. ソース
  5. ターゲット
  6. トランスフォーメーション
  7. クラスタワークフロー
  8. プロファイル
  9. 監視
  10. 階層データ処理
  11. 階層データ処理設定
  12. スキーマが変更された階層データの処理
  13. インテリジェント構造モデル
  14. ステートフルコンピューティング
  15. 接続
  16. データ型リファレンス
  17. 関数リファレンス

ユーザーガイド

ユーザーガイド

Databricks Sparkエンジン上のランタイム処理

Databricks Sparkエンジン上のランタイム処理

Databricks Sparkエンジンでジョブを実行する場合、データ統合サービスが処理をDatabricksクラスタにプッシュし、Databricks Sparkエンジンがジョブを実行します。
次の図は、Informatica環境とDatabricks環境のコンポーネントを示しています。
  1. 論理Data TransformationマネージャがマッピングをScalaプログラムに変換し、アプリケーションとしてパッケージ化して、データ統合サービスマシン上のDatabricksエンジン実行プログラムに送信します。
  2. Databricksエンジン実行プログラムは、REST APIを介して、アプリケーションをDatabricksクラスタに送信し、アプリケーションの実行を要求して、ランタイム中のアクセスのためにファイルをステージングします。
  3. Databricksクラスタは、ドライバノード上のDatabricks Sparkドライバに要求を渡します。
  4. Databricks Sparkドライバは、ワーカーノードにある1つ以上のDatabricks Spark実行プログラムにジョブを分散します。
  5. 実行プログラムはジョブを実行し、ワークスペースのDatabricks File System(DBFS)にランタイムデータをステージングします。