Mass Ingestion
- Mass Ingestion
- 所有产品
プロパティ
| 説明
|
---|---|
出力形式
| 出力ファイルの形式を選択します。次のオプションがあります。
デフォルトの値は [CSV] です。
CSV形式の出力ファイルでは、各フィールドの区切り文字として二重引用符("")が使用されます。
|
CSVファイルへのヘッダーの追加
| [CSV] が出力形式として選択されている場合は、このチェックボックスをオンにして、ソース列名を含むヘッダーを出力CSVファイルに追加します。
|
Avro形式
| 出力形式として [AVRO] を選択した場合、ソーステーブルごとに作成されるAvroスキーマの形式を選択します。次のオプションがあります。
デフォルト値は [Avro-Flat] です。
|
Avroシリアル化形式
| 出力形式として [AVRO] が選択されている場合は、Avro出力ファイルのシリアル化形式を選択します。次のオプションがあります。
デフォルト値は [Binary] です。
|
Avroスキーマディレクトリ
| 出力形式として [AVRO] が選択されている場合は、一括取り込みデータベース が各ソーステーブルのAvroスキーマ定義を格納しているローカルディレクトリを指定します。スキーマ定義ファイルには、次の命名パターンがあります。
このディレクトリが指定されていない場合、Avroスキーマ定義ファイルは作成されません。
|
ファイル圧縮タイプ
| CSVまたはAVRO出力形式の出力ファイルのファイル圧縮タイプを選択します。次のオプションがあります。
デフォルト値は [なし] 、これは圧縮が使用されないことを意味します。
|
Avro圧縮タイプ
| [AVRO] が出力形式としてが選択されている場合は、Avro圧縮タイプを選択します。次のオプションがあります。
デフォルト値は [なし] 、これは圧縮が使用されないことを意味します。
|
Parquet圧縮タイプ
| [PARQUET] 出力形式が選択されている場合、Parquetでサポートされている圧縮タイプを選択できます。次のオプションがあります。
デフォルト値は [なし] 、これは圧縮が使用されないことを意味します。
|
Deflate圧縮レベル
| [Deflate] が[Avro圧縮タイプ] フィールドで選択されている場合、圧縮レベルとして0~9を指定します。デフォルトは0です。
|
データディレクトリ
| 一括取り込みデータベースが出力データファイルとオプションでスキーマを保存するディレクトリのディレクトリ構造を定義します。ディレクトリパターンを定義するには、次のタイプのエントリを使用できます。
プレースホルダの値の大文字と小文字は区別されません。
例:
デフォルトのディレクトリパターンは {TableName)_{Timestamp} です。
|
スキーマディレクトリ
| デフォルトディレクトリ以外のディレクトリにスキーマファイルを保存する場合は、スキーマファイルを保存するカスタムディレクトリを指定できます。初期ロードの場合、便利になるように、以前に使用した値を使用できる場合はそれがドロップダウンリストに表示されます。このフィールドはオプションです。
初期ロードの場合、デフォルトでは、スキーマはデータディレクトリに保存されます。増分ロード、および初期ロードと増分ロードの組み合わせの場合、スキーマファイルのデフォルトディレクトリは {TaskTargetDirectory}/data/{TableName}/schema です。
[データディレクトリ] フィールドと同じプレースホルダを使用できます。プレースホルダは必ず中かっこ{ }で囲んでください。
toUpperまたはtoLower関数を含める場合は、 {toLower(SchemaName)} のように、プレースホルダ名を丸かっこで囲み、関数とプレースホルダの両方を中かっこで囲みます。
スキーマは、CSV形式で出力データファイルにのみ書き込まれます。ParquetおよびAvro形式のデータファイルには、独自の埋め込みスキーマが含まれています。
|