目次

Search

  1. はじめに
  2. Informatica Big Data Managementの概要
  3. マッピング
  4. ソース
  5. ターゲット
  6. トランスフォーメーション
  7. クラスタワークフロー
  8. プロファイル
  9. 監視
  10. 階層データ処理
  11. 階層データ処理設定
  12. スキーマが変更された階層データの処理
  13. インテリジェント構造モデル
  14. ステートフルコンピューティング
  15. 接続
  16. データ型リファレンス
  17. 関数リファレンス

ユーザーガイド

ユーザーガイド

HadoopでのHiveターゲット

HadoopでのHiveターゲット

Hadoop環境で実行中のマッピングは、Hiveターゲットに書き込むことができます。
Hiveターゲットは、内部テーブルまたは外部テーブルにできます。内部のHiveテーブルはHiveが管理し、管理対象テーブルとしても知られています。外部のHiveテーブルは、HDFS、Amazon S3、Microsoft Azure Blob Storageなどの外部ソースが管理します。
Hadoop環境で実行するマッピングにHiveターゲットを設定する場合は、次の制限事項を考慮します。
  • Hiveターゲット定義でUnicode文字が使用されていると、マッピングの実行に失敗します。
  • Hiveターゲットは、リモートクラスタに置くことはできません。リモートクラスタは、マッピングでHadoop接続が参照するマシンのリモートにあるクラスタです。
  • パーティション化されたHiveテーブルに動的ターゲットを設定すると、パーティションに使用される値はテーブルの最終カラムになります。テーブルに動的パーティションカラムがある場合、テーブルの最終カラムは動的パーティションカラムになります。パーティションに別のカラムを使用するには、テーブルの最終カラムに目的のカラムを移動します。テーブルに複数のパーティションカラムがある場合、動的パーティションの値は、アップストリームトランスフォーメーションの最終カラムから選択されます。 必要に応じてカラムの順序を変更するには、式トランスフォーメーションを使用できます。
マッピングがHiveテーブルを作成または置き換える場合、マッピングが作成するテーブルのタイプは、マッピングの実行に使用するランタイムエンジンによって決まります。
次の表は、ランタイムエンジンごとのテーブルタイプを示します。
ランタイムエンジン
作成されるテーブルのタイプ
Blaze
MANAGED_TABLE
Spark
EXTERNAL_TABLE
バケット化およびパーティション化された内部または外部のHiveテーブルを切り詰めるように、マッピングを設計できます。
SparkエンジンまたはBlazeエンジンで実行するマッピングで、実行時にHiveテーブルを作成または置き換えるカスタムのDDLクエリを作成できます。ただし、Blazeエンジンの場合は、バッククォート(`)文字をDDLクエリに使用できません。バッククォート文字は、クエリに特殊文字やキーワードを含める際にHiveQLで必要になります。
Sparkエンジンは、バケット化されたHiveターゲットに書き込めます。Hiveテーブルをバケット化またはパーティション化することで、データのシャッフルとソートが減り、パフォーマンスを向上させることができます。