目次

Search

  1. はじめに
  2. Informatica Data Engineering Integrationについて
  3. マッピング
  4. マッピングの最適化
  5. ソース
  6. ターゲット
  7. トランスフォーメーション
  8. Pythonトランスフォーメーション
  9. データプレビュー
  10. クラスタワークフロー
  11. プロファイル
  12. 監視
  13. 階層データ処理
  14. 階層データ処理設定
  15. スキーマが変更された階層データの処理
  16. インテリジェント構造モデル
  17. ブロックチェーン
  18. ステートフルコンピューティング
  19. 付録 A: 接続リファレンス
  20. 付録 B: データ型リファレンス
  21. 付録 C: 関数リファレンス

ユーザーガイド

ユーザーガイド

Parquetのデータ型とトランスフォーメーションデータ型

Parquetのデータ型とトランスフォーメーションデータ型

Parquetのデータ型は、データ統合サービスがプラットフォーム間のデータ移動に使用するトランスフォーメーションデータ型にマッピングされます。
次の表で、データ統合サービスでサポートされるParquetのデータ型と、それに対応するトランスフォーメーションのデータ型を比較します。
Parquet
トランスフォーメーション
範囲
Binary
Binary
1~104,857,600バイト
Binary (UTF8)
String
1~104,857,600文字
Boolean
Integer
-2,147,483,648~2,147,483,647
精度10、位取り0
Date
Date/Time
1月1日、0001~12月31日、9999。
Decimal
Decimal
宣言された精度と位取りを持つ10進型の値。位取りは、精度以下にする必要があります。
最大38桁の精度をサポートするトランスフォーメーションでは、精度が1~38桁、スケールが0~38になります。
最大28桁の精度をサポートするトランスフォーメーションでは、精度が1~28桁、スケールが0~28になります。
この最大桁数を上回る精度を指定した場合、データ統合サービスは10進値を高精度モードの倍精度浮動小数点数に変換します。
Double
Double
精度15。
Float
Double
精度15。
Int32
Integer
-2,147,483,648~2,147,483,647
精度10、位取り0
Int64
Bigint
-9,223,372,036,854,775,808 to 9,223,372,036,854,775,807
精度19、位取り0。
マップ
マップ
文字数に制限はありません。
Struct
Struct
文字数に制限はありません。
Time
Date/Time
1日のうちの時間。精度はマイクロ秒まで。
タイムスタンプ
Date/Time
1月1日、0001 00:00:00~12月31日、9999 23:59:59.997。
精度はマイクロ秒まで。
group (LIST)
Array
文字数に制限はありません。
Parquetファイルの読み取りまたは書き込みを行うために指定するParquetスキーマは小文字である必要があります。Parquetは大文字と小文字を区別するスキーマではありません。

Parquetのタイムスタンプデータ型のサポート

次の表に、Parquetファイル形式のタイムスタンプデータ型のサポート状況を示します。
タイムスタンプデータ型
Native
Spark
Timestamp_micros
×
Timestamp_millis
×
Time_millis
×
Time_micros
いいえ
int96
はい

サポートされていないParquetのデータ型

Developer toolでサポートされていないParquetのデータ型は以下のとおりです。
  • Timestamp_nanos
  • Time_nanos
  • Timestamp_tz