目次

Search

  1. はじめに
  2. Informatica Data Engineering Integrationについて
  3. マッピング
  4. マッピングの最適化
  5. ソース
  6. ターゲット
  7. トランスフォーメーション
  8. Pythonトランスフォーメーション
  9. クラスタワークフロー
  10. プロファイル
  11. 監視
  12. 階層データ処理
  13. 階層データ処理設定
  14. スキーマが変更された階層データの処理
  15. ブロックチェーン
  16. インテリジェント構造モデル
  17. ステートフルコンピューティング
  18. 接続
  19. データ型リファレンス
  20. 関数リファレンス

ユーザーガイド

ユーザーガイド

HadoopのHiveターゲット

HadoopのHiveターゲット

Hadoop環境で実行されているマッピングは、Hiveターゲットに書き込むことができます。Hiveターゲットに書き込む場合、テーブルのタイプ、DDLクエリ、バケット化などの機能の処理の違いを考慮してください。

Hiveテーブルのタイプ

Hiveターゲットは、内部テーブルと外部テーブルの場合があります。内部のHiveテーブルはHiveが管理し、管理対象テーブルとしても知られています。外部のHiveテーブルは、HDFS、Amazon S3、Microsoft Azure Blob Storageなどの外部ソースが管理しているテーブルです。
マッピングがHiveテーブルを作成または置き換える場合、マッピングが作成するテーブルのタイプは、マッピングの実行に使用するランタイムエンジンによって決まります。
  • Blazeエンジンでは、マッピングが管理対象テーブルを作成します。
  • Sparkエンジンでは、マッピングが外部テーブルを作成します。

DDLクエリ

SparkエンジンまたはBlazeエンジンで実行されているマッピングでは、実行時にHiveテーブルを作成または置き換えるカスタムのDDLクエリを作成できます。ただし、Blazeエンジンの場合は、バッククォート(`)文字をDDLクエリに使用できません。バッククォート文字は、クエリに特殊文字やキーワードを含める際にHiveQLで必要になります。

バケット化

Sparkエンジンは、バケット化されたHiveターゲットに書き込めます。Hiveテーブルをバケット化またはパーティション化することで、データのシャッフルとソートが減り、パフォーマンスを向上させることができます。

Hortonworks HDP 3.1

Hortonworks HDP 3.1はデフォルトでACID対応ORCターゲットを使用し、すべての管理対象テーブルにACIDを使用します。ACID対応テーブルを使用したくない場合は、外部テーブルを使用してください。