目次

Search

  1. はじめに
  2. データトランスフォーメーションについて
  3. データプロセッサトランスフォーメーション
  4. ウィザードの入力形式および出力形式
  5. リレーショナル入力とリレーショナル出力
  6. IntelliScriptエディタの使用
  7. XMap
  8. ライブラリ
  9. スキーマオブジェクト
  10. コマンドラインインタフェース
  11. スクリプト
  12. パーサー
  13. スクリプトポート
  14. ドキュメントプロセッサ
  15. 形式
  16. データホルダ
  17. アンカー
  18. トランスフォーマ
  19. アクション
  20. シリアライザ
  21. マッパー
  22. ロケータ、キー、インデックス
  23. ストリーマ
  24. バリデータ、通知、およびエラーの取扱い
  25. 検証ルール
  26. カスタムスクリプトコンポーネント

ユーザーガイド

ユーザーガイド

Parquet

Parquet

ウィザードを使用して、Parquet入力または出力によるトランスフォーメーションを作成します。Parquet形式を変換するためのデータプロセッサトランスフォーメーションを作成する場合は、Parquetスキーマ、または予測されるParquetデータ構造が定義されているサンプルファイルを選択します。ウィザードによって、Parquet形式を他の形式に、または他の形式をParquet形式に変換するコンポーネントが作成されます。ウィザードでトランスフォーメーションが作成されたら、マッピングロジックを決定するようトランスフォーメーションをさらに設定することができます。
Apache Parquetは、Hadoop環境で処理できるカラムナストレージフォーマットです。Parquetは、ネストされた複雑なデータ構造に対処するために実装され、レコードのワイプやアセンブリアルゴリズムを使用します。Parquetの詳細については、http://parquet.incubator.apache.org/documentation/latest//を参照してください。
Parquet入力または出力を読み取るトランスフォーメーションでは、スキーマを利用します。トランスフォーメーションがParquetデータの読み取りまたは書き込みを行うと、トランスフォーメーションはスキーマを使用して階層を解釈します。
Parquet入力のデータプロセッサトランスフォーメーションを作成したら、複合ファイルリーダーを使用してマッピングに追加します。複合ファイルリーダーはParquet入力をトランスフォーメーションに渡します。Parquet出力を使用したデータプロセッサトランスフォーメーションの場合は、マッピングに複合ファイルライターを追加して、トランスフォーメーションから出力を受け取ります。