Hadoop環境

別のクラスタ上のHiveソースまたはHiveターゲットでマッピングを実行すると、データ統合サービスで次のエラーが発生して、Hadoopへのマッピングのプッシュに失敗する:

[exec0_query_6]が原因で、クエリの実行に失敗しました。エラーコード[10]、エラーメッセージ: [FAILED: セマンティック分析のエラー: 行1:181 テーブルが見つかりませんcustomer_eur]、およびSQL状態[42000]]。

Hadoop環境でマッピングを実行する場合は、Hiveソース/ターゲットに対して選択したHive接続とマッピングが同じHiveメタストア上にある必要があります。

SQLオーバーライドとマッピングを並列実行すると、マッピングがハングする。

クラスタが異なるエンジン間で共有されているため、使用可能なリソースが不十分です。

BlazeエンジンとSparkエンジンとで別々のYARNスケジューラキューを使用し、該当するエンジン経由でHiveServer2がSQLオーバーライドを実行できるようにします。

Blazeエンジン上で実行されるマッピングが失敗し、次のプリエンプションエラーメッセージが出力される。

 2018-09-27 11:05:27.208  INFO: Container completion status: id
[container_e135_1537815195064_4755_01_000012]; state [COMPLETE];
diagnostics [Container preempted by scheduler]; exit status [-102]..
2018-09-27 11:05:27.208 SEVERE: Service
[OOP_Container_Manager_Service_2] has stopped running..

Blazeエンジンでは、Capacity SchedulerやFair SchedulerでのYARNプリエンプションはサポートしません。Blazeエンジンに割り当てられたキューでのプリエンプションを無効にするようHadoop管理者に依頼してください。詳細については、Mappings Fail with Preemption Errorsを参照してください。

パーティション化されたHiveテーブルを作成するようマッピングを設定した場合、マッピングが失敗し、宛先テーブルがパーティション化されているためパーティションカラムを指定する必要があることを示すエラーが表示される。

この問題は、Hiveパーティション化テーブルを作成するために設計されたクエリに対する、Informaticaの内部要件が原因で発生します。詳細と回避策については、Knowledge Base article 516266を参照してください。

Databricks環境