Hadoop環境

別のクラスタ上のHiveソースまたはHiveターゲットでマッピングを実行すると、データ統合サービスで次のエラーが発生して、Hadoopへのマッピングのプッシュに失敗する:

[exec0_query_6]が原因で、クエリの実行に失敗しました。エラーコード[10]、エラーメッセージ: [FAILED: セマンティック分析のエラー: 行1:181 テーブルが見つかりませんcustomer_eur]、およびSQL状態[42000]]。

Hadoop環境でマッピングを実行する場合は、Hiveソース/ターゲットに対して選択したHive接続とマッピングが同じHiveメタストア上にある必要があります。

SQLオーバーライドとマッピングを並列実行すると、マッピングがハングする。

クラスタが異なるエンジン間で共有されているため、使用可能なリソースが不十分です。

BlazeエンジンとSparkエンジンとで別々のYARNスケジューラキューを使用し、該当するエンジン経由でHiveServer2がSQLオーバーライドを実行できるようにします。

Blazeエンジン上で実行されるマッピングが失敗し、次のプリエンプションエラーメッセージが出力される。

 2018-09-27 11:05:27.208  INFO: Container completion status: id
[container_e135_1537815195064_4755_01_000012]; state [COMPLETE];
diagnostics [Container preempted by scheduler]; exit status [-102]..
2018-09-27 11:05:27.208 SEVERE: Service
[OOP_Container_Manager_Service_2] has stopped running..

Blazeエンジンでは、Capacity SchedulerやFair SchedulerでのYARNプリエンプションはサポートしません。Blazeエンジンに割り当てられたキューでのプリエンプションを無効にするようHadoop管理者に依頼してください。詳細については、Mappings Fail with Preemption Errorsを参照してください。

パーティション化されたHiveテーブルを作成するようマッピングを設定した場合、マッピングが失敗し、宛先テーブルがパーティション化されているためパーティションカラムを指定する必要があることを示すエラーが表示される。

この問題は、Hiveパーティション化テーブルを作成するために設計されたクエリに対する、Informaticaの内部要件が原因で発生します。詳細と回避策については、Knowledge Base article 516266を参照してください。

SparkがHiveソースとターゲットを使用してマッピングを実行し、Hive Warehouse Connectorを使用すると、マッピングは次のエラーで失敗します。

[[SPARK_1003] Spark task [<task name>] failed with the following error: [User class threw exception: java.lang.reflect.InvocationTargetException​ ... java.sql.SQLException: Cannot create PoolableConnectionFactory (Could not open client transport for any of the Server URI's in ZooKeeper: Could not establish connection...)

この問題は、データ統合サービスがHive DTを取得できないことが原因で発生します。

回避策: HiveServer2 InteractiveのURLをHadoop接続の詳細プロパティに追加します。

Ambari Webコンソールで、
［サービス］
［Hive］
［設定］
［詳細］
［詳細Hiveサイト］
を参照して、プロパティhive.server2.authentication.kerberos.principalの値をコピーします。
Hadoop接続の詳細プロパティを編集してプロパティspark.sql.hive.hiveserver2.jdbc.url.principalを追加します。
手順1でコピーした値をspark.sql.hive.hiveserver2.jdbc.url.principalの値として貼り付けます。

マッピングがSparkエンジンで実行されると、ナノ秒精度のタイムスタンプデータは切り捨てられます。

Sparkはタイムスタンプデータを1マイクロ秒（1us）の精度で保存し、ナノ秒精度はサポートしません。Sparkエンジンで実行されているマッピングがナノ秒精度のdatetimeデータを読み取ると、データはマイクロ秒に切り捨てられます。例えば、

2015-01-02 00:00:00.000456789

は

2015-01-02 00:00:00.000456

に切り捨てられます。

Blazeエンジンでは、ナノ秒精度がサポートされます。

Databricks環境