目次

Search

  1. はじめに
  2. Informatica Big Data Managementの概要
  3. マッピング
  4. ソース
  5. ターゲット
  6. トランスフォーメーション
  7. クラスタワークフロー
  8. プロファイル
  9. 監視
  10. 階層データ処理
  11. 階層データ処理設定
  12. スキーマが変更された階層データの処理
  13. インテリジェント構造モデル
  14. ステートフルコンピューティング
  15. 接続
  16. データ型リファレンス
  17. 関数リファレンス

ユーザーガイド

ユーザーガイド

マッピングの概要

マッピングの概要

マッピングのパフォーマンスを最適化し、10テラバイトより大きいデータを処理するために、Developer toolでランタイム環境を設定します。マッピングは、ネイティブ環境または非ネイティブ環境での実行を選択できます。ネイティブ環境でマッピングを実行する場合は、データ統合サービスがマッピングを処理および実行します。非ネイティブ環境でマッピングを実行する場合は、データ統合サービスはHadoopやDatabricksなどの計算クラスタに処理をプッシュします。
スタンドアロンのマッピングや、ワークフローに含まれるマッピングを非ネイティブ環境で実行できます。
Hadoop環境を選択するとき、エンジンを選択して、マッピングロジックをHadoopクラスタにプッシュすることもできます。Hadoop環境では、データ統合サービスがマッピングロジックに基づいて、マッピングロジックを次のいずれかのエンジンにプッシュできます。
  • Informatica Blazeエンジン。Hadoopでの分散処理用のInformatica所有のエンジン。
  • Sparkエンジン。HadoopクラスタまたはSparkスタンドアロンモードクラスタで実行できる、バッチ処理用の高パフォーマンスエンジン。
Databricks環境を選択すると、統合サービスはマッピングロジックをDatabricks Sparkエンジン(Databricks向けにパッケージ化されたApache Sparkエンジン)にプッシュします。
複数のエンジンを選択すると、データ統合サービスが検証中にマッピングの実行に最適なエンジンを決定します。また、データ統合サービスがどのエンジンを使用するかを選択することもできます。エンジンが特定のトランスフォーメーションをサポートするかどうかや、エンジンがデータを返す形式に基づいて、エンジンを選択できます。
非ネイティブ環境でマッピングを実行するときは、環境にアクセスするための接続を設定する必要があります。環境と、マッピングを実行するエンジンのランタイムプロパティを設定できます。
非ネイティブ環境で実行するマッピングの実行プランを表示できます。データ統合サービスがマッピングの実行に選択するエンジンの実行プランを表示します。
Monitoringツールで、HiveクエリとHadoopジョブを監視できます。YARN WebユーザーインタフェースまたはBlazeジョブ監視Webアプリケーションを使用して、Hadoopクラスタのジョブを監視します。
データ統合サービスは、Blaze、Spark、およびDatabricks SparkエンジンとDTMからのメッセージのログを記録します。