マッピングの検査

最適化

マッピングで検証が実行されても実行に失敗する場合は、最適化レベルをなしまたは最小限に設定します。コストベースまたは準結合の最適化方式を使用するように最適化レベルを設定した場合、データ統合サービスは実行時にこれを無視し、デフォルト値を使用します。
ランタイムエンジンは、すべてのケースで、以前のプロジェクションの最適化方式を使用しません。データ統合サービスが使用されていないポート間のリンクを削除した場合、ランタイムエンジンはポートを再接続する場合があります。
SparkエンジンまたはDatabricks Sparkエンジン上のソースへのフィルタのプッシュに対応するデータソースがマッピングに含まれている場合、自動最適化レベルを使用すると、前に選択した最適化方式が有効になります。最適化レベルの詳細については、『
Informatica Developerマッピングガイド
』を参照してください。
Sparkエンジンは、マッピングを実行するときに、次の場合にHiveServer2を使用してクラスタ上のジョブを処理します。
マッピングが、char型またはvarchar型のフィールド上にバケット化されたHiveテーブルのターゲットに書き込む場合。
マッピングが、Hiveトランザクション対応テーブルで読み取りまたは書き込みを行う場合。
マッピングが、カラムレベルのセキュリティが有効なHiveテーブルで読み取りまたは書き込みを行う場合。
マッピングが、Hiveターゲットに書き込み、実行時にテーブルを作成または置き換えるように設定されている場合。

高精度

オーバーフロー値

NULL値および無効な値と拒否された行

拒否された行を転送するようにマッピングを設定しても、Sparkランタイムエンジンは、拒否された行をドロップします。拒否された行はセッションログファイルに書き込まれません。
式の結果が、ゼロによる除算や負の数値のSQRTなどの、数値エラーになった場合は、SparkエンジンはNULLを返します。ネイティブ環境では、同じ式の結果は行エラーになります。
Hadoop環境は「/n」の値をNULL値として扱います。集計関数に空の値またはNULL値が含まれている場合、Hadoop環境で集計の計算中にこれらの値が含められます。
次の状況で無効な値が渡されると、Sparkエンジンは行にNULL値を書き込みます。
PV、FV、PMT、およびRATE財務関数の
terms
引数が0の値を渡す場合。
terms
の値は0より大きい整数である必要があります。
MAKE_DATE_TIME関数の
month
引数が無効な値を渡す場合。
month
の値は1～12である必要があります。
ネイティブ環境では、データ統合サービスは行を拒否し、ターゲットに書き込みません。
データオーバーフローが発生した場合、SparkエンジンはNULLを返します。例えば、精度が3、スケールが2のポートで式
TO_DECIMAL(12.34, 2)
を使用した場合、戻り値はNULLです。NULL値はマッピングを介してプロパゲートされます。マッピングはデフォルト値を使用してその値を上書きし、関数IS_NULLを使用して検出して、ターゲットにNULL値を書き込みます。

データ変換

Decimalなどの浮動小数点型の計算処理結果は、ネイティブ環境とHadoop環境との間で異なる可能性があります。結果の違いは、複数の操作間で大きくなる可能性があります。
doubleまたはdecimalの値の小数桁数が小数位ポートで設定されているスケールを超えると、Sparkエンジンは後続の桁を切り捨て、必要な場合は値を丸めます。
Hive 2.0以上を使用する場合、Sparkエンジンは位取りの値を保証します。例えば、SparkエンジンがHive 2.0を使用して9桁の位取りの10進数の
1.1234567
を処理すると、出力は
1.123456700
になります。
Sparkエンジンはナノ秒までの日付を処理できません。ミリ秒までの精度で日時データを返すことができます。

スケール

関数

アグリゲータトランスフォーメーション内に、単一またはネストされた関数を含めないでください。データ統合サービスは、ネイティブ環境でのマッピングに失敗します。処理をHadoop環境にプッシュすることはできますが、予期しない結果になる可能性があります。Informaticaは、集計を実行するには、複数のトランスフォーメーションを作成することをお勧めします。
Spark METAPHONE関数は、
org.apache.commons.codec.language
ライブラリからの音声エンコーダを使用します。Sparkエンジンがマッピングを実行するときに、METAPHONE関数はネイティブ環境での出力とは異なる出力を生成する可能性があります。次の表に、いくつかの例を示します。
文字列	データ統合サービス	Sparkエンジン
Might	MFT	MT
HIGH	HF	H
ISO標準形式で記述された文字列を処理するために、SparkエンジンでTO_DATE関数を使用する場合、
*T*
を日付文字列に追加し、
*”T”*
をフォーマット文字列に追加する必要があります。次の式に、TO_DATE関数を使用してISO標準形式で記述された文字列YYYY-MM-DDTHH24:MI:SSを変換する例を示します。
TO_DATE(‘2017-11-03*T*12:45:00’,’YYYY-MM-DD*”T”*HH24:MI:SS’)
次の表に、この関数での文字列の変換方法を示します。
ISO Standard Format	RETURN VALUE
2017-11-03T12:45:00	Nov 03 2017 12:45:00
UUID4関数は、UUID_UNPARSEまたはENC_BASE64内の引数として使用される場合にのみサポートされます。
UUID_UNPARSE関数は、引数がUUID4( )の場合にのみサポートされます。

その他のルールとガイドライン