目次

Search

  1. はじめに
  2. Informatica Big Data Managementの概要
  3. マッピング
  4. ソース
  5. ターゲット
  6. トランスフォーメーション
  7. クラスタワークフロー
  8. プロファイル
  9. 監視
  10. 階層データ処理
  11. 階層データ処理設定
  12. スキーマが変更された階層データの処理
  13. インテリジェント構造モデル
  14. ステートフルコンピューティング
  15. 接続
  16. データ型リファレンス
  17. 関数リファレンス

ユーザーガイド

ユーザーガイド

Sparkエンジンでのマッピングのルールとガイドライン

Sparkエンジンでのマッピングのルールとガイドライン

Sparkエンジンでは、次の実行時の違いを考慮します。
  • マッピングで検証が実行されても実行に失敗する場合は、最適化レベルをなしまたは最小限に設定します。コストベースまたは準結合の最適化方式を使用するように最適化レベルを設定した場合、データ統合サービスは実行時にこれを無視し、デフォルト値を使用します。
  • ランタイムエンジンは、すべてのケースで、以前のプロジェクションの最適化方式を使用しません。データ統合サービスが使用されていないポート間のリンクを削除した場合、ランタイムエンジンはポートを再接続する場合があります。
  • Hadoop環境では、カラムにデータエラーのあるソースでは、そのカラムの値はNULLになります。ネイティブ環境では、カラムにデータエラーのある行はデータ統合サービスによって処理されません。
  • フラットファイルソースから読み取るマッピングをキャンセルすると、フラットファイルデータをHDFSにコピーするファイルコピープロセスは引き続き実行される場合があります。データ統合サービスはこのプロセスを強制終了するコマンドをHiveセッションログに記録し、HDFSにコピーされたすべてのデータをクリーンアップします。必要に応じて、ファイルのコピープロセスを強制終了するコマンドを実行できます。
Sparkエンジンは、マッピングを実行するときに、次の場合にHiveServer2を使用してクラスタ上のジョブを処理します。
  • マッピングが、char型またはvarchar型のフィールド上にバケット化されたHiveテーブルのターゲットに書き込む場合。
  • マッピングが、Hiveトランザクション対応テーブルで読み取りまたは書き込みを行う場合。
  • マッピングが、カラムレベルのセキュリティが有効なHiveテーブルで読み取りまたは書き込みを行う場合。
  • マッピングが、Hiveターゲットに書き込み、実行時にテーブルを作成または置き換えるように設定されている場合。