目次

Search

  1. はじめに
  2. Informatica Big Data Managementの概要
  3. マッピング
  4. ソース
  5. ターゲット
  6. トランスフォーメーション
  7. クラスタワークフロー
  8. プロファイル
  9. 監視
  10. 階層データ処理
  11. 階層データ処理設定
  12. スキーマが変更された階層データの処理
  13. インテリジェント構造モデル
  14. ステートフルコンピューティング
  15. 接続
  16. データ型リファレンス
  17. 関数リファレンス

ユーザーガイド

ユーザーガイド

Blazeエンジン上のランタイム処理

Blazeエンジン上のランタイム処理

Informatica Blazeエンジンでマッピングを実行するには、データ統合サービスがBlazeエンジン実行プログラムにジョブを送信します。Blazeエンジン実行プログラムは、Hadoopクラスタ上のデータ統合サービスとBlazeエンジンコンポーネント間の通信を有効にするソフトウェアコンポーネントです。
次のBlazeエンジンコンポーネントがHadoopクラスタ上に表示されます。
  • グリッドマネージャ。一括処理のタスクを管理します。
  • オーケストレータ。クラスタ上でデータ処理タスクをスケジュールして同時に処理します。
  • Blazeジョブ監視。クラスタ上でBlazeエンジンジョブを監視します。
  • DTMプロセスマネージャ。DTMプロセスを管理します。
  • DTMプロセス。DTMインスタンスの実行が開始されたオペレーティングシステムプロセス。
  • データ交換フレームワーク。クラスタノード上のデータを処理するさまざまなプロセス間でデータをシャッフルします。
次の図に、HadoopクラスタがBlazeエンジン実行プログラムから送信されたジョブを処理する方法について示します。
この図に、Blazeエンジンアーキテクチャ図を示します。
データ統合サービスがBlazeエンジン実行プログラムにジョブを送信する場合、次のイベントが発生します。
  1. Blazeエンジン実行プログラムはグリッドマネージャと通信し、HadoopクラスタのBlazeエンジンコンポーネントを初期化して、利用可能なオーケストレータのグリッドマネージャに対してクエリを実行します。
  2. グリッドマネージャはBlazeジョブ監視を開始します。
  3. グリッドマネージャはオーケストレータを開始し、オーケストレータ情報をLDTMに返信します。
  4. LDTMはオーケストレータと通信します。
  5. グリッドマネージャはリソースマネージャと通信して、オーケストレータに利用可能なリソースがあるかを確認します。
  6. リソースマネージャは、ノードマネージャを介してデータノード上のリソース割り当てを処理します。
  7. オーケストレータは、DTMプロセスマネージャを介してDTMプロセスにタスクを送信します。
  8. DTMプロセスマネージャはDTMプロセスと継続的に通信します。
  9. DTMプロセスはデータ交換フレームワークと継続的に通信し、クラスタノードで実行される処理ユニット全体のデータの送受信を行います。