目次

Search

  1. はじめに
  2. データトランスフォーメーションについて
  3. データプロセッサトランスフォーメーション
  4. ウィザードの入力形式および出力形式
  5. リレーショナル入力とリレーショナル出力
  6. IntelliScriptエディタの使用
  7. XMap
  8. ライブラリ
  9. スキーマオブジェクト
  10. コマンドラインインタフェース
  11. スクリプト
  12. パーサー
  13. スクリプトポート
  14. ドキュメントプロセッサ
  15. 形式
  16. データホルダ
  17. アンカー
  18. トランスフォーマ
  19. アクション
  20. シリアライザ
  21. マッパー
  22. ロケータ、キー、インデックス
  23. ストリーマ
  24. バリデータ、通知、およびエラーの取扱い
  25. 検証ルール
  26. カスタムスクリプトコンポーネント

ユーザーガイド

ユーザーガイド

Avro

Avro

ウィザードを使用して、Avro入力または出力によるトランスフォーメーションを作成します。Avro形式を変換するためのデータプロセッサトランスフォーメーションを作成する場合は、Avroスキーマ、または予測されるAvroデータ構造が定義されているサンプルファイルを選択します。ウィザードによって、Avro形式を他の形式に、または他の形式をAvro形式に変換するコンポーネントが作成されます。これらのコンポーネントにはリレーショナルから階層へのマッピング、階層からリレーショナルへのマッピング、およびXMapが含まれていることがあります。 ウィザードでトランスフォーメーションが作成されたら、マッピングロジックを決定するようトランスフォーメーションをさらに設定することができます。
Apache Avroはバイナリまたはその他のデータ形式のデータシリアル化システムです。Avroデータの形式は、人間が直接読み取れない可能性があります。Avroの詳細については、http://avro.apache.org/を参照してください。
Avro入力または出力を使用したトランスフォーメーションを作成するには、バイナリでエンコードされたAvroを使用します。その他の形式のAvro入力または出力は処理されません。
Avro入力または出力を読み取るトランスフォーメーションでは、スキーマを利用します。トランスフォーメーションがAvroデータの読み取りまたは書き込みを行うと、トランスフォーメーションはスキーマを使用して階層を解釈します。
Avro階層を定義するサンプルファイルを選択した場合は、ウィザードによってファイル内の最初のレコードも個別のテストファイルとして保存されます。このファイルを使用してトランスフォーメーションをテストできます。ファイルを見つけるには、
[概要]
ビューの
[ポート]
パネルの
[入力場所]
フィールドに表示されたファイルのパスを確認します。
Avroを階層形式に変換する、または階層形式をAvroに変換するデータプロセッサトランスフォーメーションを作成すると、ウィザードによってトランスフォーメーションにXMapコンポーネントが作成されます。XMapエディタに階層スキーマノードとAvroスキーマノードが表示されます。XMapエディタを使用してノードをリンクし、トランスフォーメーションロジックを定義します。 XMapオブジェクトおよびエディタの詳細については、XMapの概要を参照してください。
Avroをリレーショナル形式に変換する、またはリレーショナル形式をAvroに変換するトランスフォーメーションを作成すると、ウィザードによってリレーショナルマッピングが作成されます。
[概要]
ビューの
[ポート]
パネルにAvro階層スキーマノードおよびリレーショナルポートが表示されます。
[ポート]
パネルを使用して、階層要素をリレーショナルポートおよびグループにリンクします。リレーショナルデータの変換の詳細については、リレーショナル入力と出力の概要を参照してください
Avro入力のデータプロセッサトランスフォーメーションを作成したら、複合ファイルリーダーを使用してマッピングに追加します。 複合ファイルリーダーはAvro入力をトランスフォーメーションに渡します。Avro出力を使用したデータプロセッサトランスフォーメーションの場合は、マッピングに複合ファイルライターを追加して、トランスフォーメーションから出力を受け取ります。