目次

Search

  1. はじめに
  2. Informatica Data Engineering Integrationについて
  3. マッピング
  4. マッピングの最適化
  5. ソース
  6. ターゲット
  7. トランスフォーメーション
  8. Pythonトランスフォーメーション
  9. データプレビュー
  10. クラスタワークフロー
  11. プロファイル
  12. 監視
  13. 階層データ処理
  14. 階層データ処理設定
  15. スキーマが変更された階層データの処理
  16. インテリジェント構造モデル
  17. ブロックチェーン
  18. ステートフルコンピューティング
  19. 付録 A: 接続リファレンス
  20. 付録 B: データ型リファレンス
  21. 付録 C: 関数リファレンス

データプレビュープロセス

データプレビュープロセス

Sparkエンジン上でデータをプレビューすると、次のプロセスが発生します。
  1. データ統合サービスは、データプレビューサービスモジュールを使用して、ネイティブ環境かSparkエンジンどちらでプレビュージョブを実行するか決定します。
  2. データプレビューサービスモジュールはジョブをSparkエンジンにプッシュし、プレビューポイントを基にSparkワークフローを生成します。
  3. 設定したクラスタディストリビューションに基づいて、SparkジョブサーバーまたはDTMはHadoopクラスタ上のSparkワークフロータスクを送信して、プレビューデータを生成します。
  4. ランタイムエンジンによって、設定済みのHDFSステージングディレクトリに基づいて、データがステージングされます。
  5. データ統合サービスがステージングされたデータをDeveloper toolに渡してから、ステージングされたデータを削除します。
  6. プレビューの結果がDeveloper toolのデータビューアに表示されます。
データプレビューを実行すると、
[ランタイム]
ビューで選択した検証環境がデータ統合サービスによって検証されます。
データ統合サービスに対してHTTPSプロトコルを有効にすると、Spark JobserverでもHTTPSプロトコルが使用されます。Spark Jobserverは、ユーザーがAdministratorツールでデータ統合サービスのプロセスプロパティに設定した同じHTTPSキーストア設定を使用します。