目次

Search

  1. はじめに
  2. Informatica Data Engineering Integrationについて
  3. マッピング
  4. マッピングの最適化
  5. ソース
  6. ターゲット
  7. トランスフォーメーション
  8. Pythonトランスフォーメーション
  9. クラスタワークフロー
  10. プロファイル
  11. 監視
  12. 階層データ処理
  13. 階層データ処理設定
  14. スキーマが変更された階層データの処理
  15. ブロックチェーン
  16. インテリジェント構造モデル
  17. ステートフルコンピューティング
  18. 接続
  19. データ型リファレンス
  20. 関数リファレンス

ユーザーガイド

ユーザーガイド

Azure Data Lake Storage Gen2の複合ファイルソース

Azure Data Lake Storage Gen2の複合ファイルソース

Azure Data Lake Storage Gen2データオブジェクトからデータを読み取るには、PowerExchange for HDFSまたはPowerExchange for Microsoft Azure Data Lake Storage Gen2接続を使用します。
PowerExchange for Microsoft Azure Data Lake Storage Gen2接続は、Azure Blobファイルシステム(ABFS)接続の1つです。PowerExchange for Microsoft Azure Data Lake Storage Gen2接続のライセンスがあれば、使用できます。
次の表に、Hadoop環境のAzure Data Lake Storage Gen2内でPowerExchange for Microsoft Azure Data Lake Storage Gen2マッピングが処理できる複合ファイルを示します。
ファイル形式
読み取り
書き込み
Native
Databricks Spark
Spark
フラット
はい
Binary
はい
×
いいえ
Avro(プリミティブデータ型と階層データ型)
はい
○(プリミティブデータ型のみ)
はい
JSON(プリミティブデータ型と階層データ型)
はい
×
はい
Parquet(プリミティブデータ型と階層データ型)
はい
○(プリミティブデータ型のみ)
はい
インテリジェント構造モデル
×
×
×
次の表に、Hadoop環境のHDInsightクラスタのAzure Data Lake Storage Gen2内でPowerExchange for HDFS接続が処理できる複合ファイルを示します。
ファイルタイプ
サポートされている形式
サポートされるエンジン
Avro
  • Flat
  • 階層
    1 2
  • Blaze
  • Spark
JSON
  • Flat
    1
  • 階層
    1 2
  • Blaze
  • Spark
ORC
  • Flat
  • Spark
Parquet
  • Flat
  • 階層
    1 2
  • Blaze
  • Spark
1
Blazeエンジンで実行するには、複合ファイルデータオブジェクトがデータプロセッサトランスフォーメーションに接続されている必要があります。
2
Sparkエンジンで実行するには、複合ファイル読み取り操作がプロジェクトカラムに対して複合データ型として有効にされている必要があります。