目次

Search

  1. はじめに
  2. Informatica Data Engineering Integrationについて
  3. マッピング
  4. マッピングの最適化
  5. ソース
  6. ターゲット
  7. トランスフォーメーション
  8. Pythonトランスフォーメーション
  9. データプレビュー
  10. クラスタワークフロー
  11. プロファイル
  12. 監視
  13. 階層データ処理
  14. 階層データ処理設定
  15. スキーマが変更された階層データの処理
  16. インテリジェント構造モデル
  17. ブロックチェーン
  18. ステートフルコンピューティング
  19. 付録 A: 接続リファレンス
  20. 付録 B: データ型リファレンス
  21. 付録 C: 関数リファレンス

データ型のルールとガイドライン

データ型のルールとガイドライン

データ型については、次のルールおよびガイドラインを考慮します。
  • Avroデータ型のサポート:
    • Date、Decimal、Timestampデータ型は、Cloudera CDH 6.3ディストリビューションのネイティブ環境またはSparkエンジンでマッピングを実行する場合に使用できます。
    • Timeデータ型は、Cloudera CDH 6.3ディストリビューションのネイティブ環境でマッピングを実行する場合に使用できます。
  • JSONデータ型のサポート:
    • PowerExchange for Microsoft Azure Data Lake Storage Gen2の場合、ネイティブ環境、Sparkエンジン、およびDatabricks Sparkエンジンで実行されるマッピングでJSON形式の複合ファイルオブジェクトを読み取るおよび書き込むことができます。
      その他のファイルベースのアダプタについては、Sparkエンジンで実行されるマッピングでのみJSON形式の複合ファイルオブジェクトを読み取るおよび書き込むことができます。
  • Parquetデータ型のサポート:
    • developerCore.ini
      ファイルで
      -DINFA_HADOOP_DIST_DIR=hadoop\<Distro>
      オプションを設定してParquetファイルをインポートした場合、インポートされるメタデータの形式はディストリビューションに応じて異なります。Cloudera CDP 7.1の場合は、メタデータが文字列としてインポートされ、サポートされている他のディストリビューションの場合は、メタデータがUTF8としてインポートされます。
    • ミリ秒までのDate、Time、Timestampデータ型は、Hortonworks HDP 3.1、Azure HDInsight HDI 4.0、Cloudera CDP 7.1ディストリビューションのネイティブ環境、Blaze、およびSparkエンジンでマッピングを実行する場合に使用できます。
    • Date、Time_Millis、およびTimestamp_Millisデータ型は、ネイティブ環境またはAmazon Elastic MapReduce(EMR)5.23およびMapR 6.1のSparkエンジンでマッピングを実行する場合に使用できます。
    • Decimalデータ型は、Cloudera CDH 6.3、Hortonworks HDP 3.1、Amazon EMR 5.20、Amazon EMR 5.23、MapR 6.1、Google Dataproc 1.4、Azure HDInsight HDI 4.0ディストリビューションのネイティブ環境およびSparkエンジンでマッピングを実行する場合に使用できます。
    • Date、Time、Timestamp、Decimalデータ型は、Databricks Sparkエンジンでマッピングを実行する場合に使用できます。
    • 時間の値のないDateデータ型を使用してマッピングを実行すると、データ統合サービスはタイムゾーンに基づいてターゲットの日付に時間を追加します。
      例えば、次のDateデータ型がソースで使用されている場合、
      1980-01-09
      ターゲットには次の値が生成されます。
      1980-01-09 00:00:00
    • ネイティブ環境でマッピングを実行し、ソースでTimeデータ型を使用すると、データ統合サービスは誤った日付の値をターゲットに書き込みます。
      例えば、次のTimeデータ型がソースで使用されている場合、
      1980-01-09 06:56:01.365235000
      ターゲットでは次の誤った日付の値が生成されます。
      1899-12-31 06:56:01.365235000
    • ネイティブ環境でマッピングを実行し、ソースでDateデータ型を使用すると、データ統合サービスは誤った時間の値をターゲットに書き込みます。
      例えば、次のDateデータ型がソースで使用されている場合、
      1980-01-09 00:00:00
      ターゲットでは次の誤った時間の値が生成されます。
      1980-01-09 05:30:00
  • Date、Time、Timestamp、Decimalデータ型の読み取りと書き込みを行うマッピングを実行するには、
    developerCore.ini
    ファイルで
    -DINFA_HADOOP_DIST_DIR
    オプションを更新します。
    developerCore.ini
    ファイルは、次のディレクトリにあります。
    <クライアントインストールディレクトリ>\clients\DeveloperClient\
    以下のパスを
    developerCore.ini
    ファイルに追加します。
    -DINFA_HADOOP_DIST_DIR=hadoop\<Hadoop distribution>_<version>
    例:
    -DINFA_HADOOP_DIST_DIR=hadoop\CDH_6.3
  • ネイティブ環境でDecimalデータ型に最大38桁の精度を使用するには、データ統合サービスの
    EnableSDKDecimal38
    カスタムプロパティを
    true
    に設定します。
    EnableSDKDecimal38
    カスタムプロパティは、PowerExchange for HDFSを除くすべてのファイルベースのPowerExchangeアダプタに該当します。