Data Ingestion and Replication
- Data Ingestion and Replication
- 所有产品
プロパティ
| 説明
|
---|---|
ターゲット作成
| 利用可能なただ1つのオプションは、 [ターゲットテーブルを作成する] であり、これによりソースオブジェクトをベースにしてターゲットテーブルを生成します。
|
スキーマ
| アプリケーション取り込みとレプリケーション がターゲットテーブルを作成するターゲットスキーマを選択します。
|
ステージ | データがターゲットテーブルに書き込まれる前にソースから読み取られたデータを保持する内部ステージング領域の名前。この名前にスペースを含めることはできません。指定されたステージング領域が存在しない場合、自動的に作成されます。 [詳細ターゲットプロパティ] で[Superpipe] オプションを選択した場合、このフィールドは使用できません。
|
適用モード
| 増分ロードジョブ、および初期ロードと増分ロードの組み合わせジョブの場合に、挿入、更新、削除といったソースDMLの変更がターゲットにどのように適用されるかを示します。次のオプションがあります。
デフォルトは [標準] です。
|
フィールド
| 説明
|
---|---|
最終レプリケート時刻を追加
| ターゲットテーブルでレコードが挿入または最後に更新された時点のタイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスをオンにします。初期ロードの場合、ロードされたすべてのレコードのタイムスタンプは同じですが、Superpipeオプションを使用するSnowflakeターゲットに限り、分と秒がわずかに異なる可能性があります。増分ロード、および初期ロードと増分ロードの組み合わせの場合、このカラムには、ターゲットに適用された最後のDML操作のタイムスタンプが記録されます。
デフォルトでは、このチェックボックスは選択されていません。
|
サイクルIDの追加 | 増分ロードジョブの場合、各ターゲットテーブルの各CDCサイクルのサイクルIDを含むメタデータカラムを追加するには、このチェックボックスを選択します。サイクルIDは、CDCサイクルが成功するたびにCDCエンジンによって生成される番号です。ジョブをデータ統合タスクフローと統合すると、ジョブは出力フィールドで最小サイクルIDと最大サイクルIDをタスクフローに渡して、タスクフローが新しいCDCデータを含むサイクルの範囲を判断できるようにします。この機能は、前のタスクフロー実行が完了する前に複数のサイクルのデータが蓄積される場合に便利です。デフォルトでは、このオプションのチェックボックスは選択されていません。
|
操作タイプの追加
| ジョブがターゲットテーブルにプロパゲートする出力にソースSQL操作タイプを含むメタデータカラムを追加します。デフォルトでは、このカラムはINFA_OPERATION_TYPEという名前です。
このフィールドは、 [適用モード] オプションが[監査] または[論理削除] に設定されている場合にのみ表示されます。
監査モードでは、ジョブはこのメタデータカラムに、挿入の場合は「I」、更新の場合は「U」、更新/挿入の場合は「E」、削除の場合は「D」を書き込みます。
論理削除モードでは、ジョブは削除の場合は「D」を書き込み、挿入と更新の場合はNULLを書き込みます。操作タイプがNULLの場合、他の[操作の追加...]メタデータカラムもNULLです。操作タイプが「D」の場合にのみ、他のメタデータカラムにNULL以外の値が含まれます。
デフォルトでは、このチェックボックスは選択されています。選択を解除することはできません。
|
操作時間の追加
| ジョブがターゲットテーブルにプロパゲートする出力にソースSQL操作タイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。
このフィールドは、 [適用モード] が[監査] または[論理削除] に設定されている場合にのみ使用できます。
デフォルトでは、このチェックボックスは選択されていません。
|
操作シーケンスの追加
| ジョブがターゲットテーブルに挿入する変更操作ごとに、生成された昇順のシーケンス番号を記録するメタデータカラムを追加するには、このチェックボックスを選択します。シーケンス番号には、操作の変更ストリーム位置が反映されます。
このフィールドは、 [適用モード] が[監査] に設定されている場合にのみ使用できます。
デフォルトでは、このチェックボックスは選択されていません。
|
前のイメージを追加
| ジョブがターゲットテーブルに挿入する出力にUNDOの「操作前のイメージ」データを含む_OLDカラムを追加するには、このチェックボックスを選択します。これにより、各データカラムの以前の値と現在の値を比較できるようになります。削除操作の場合、現在の値はNULLになります。
このフィールドは、 [適用モード] が[監査] に設定されている場合にのみ使用できます。
デフォルトでは、このチェックボックスは選択されていません。
|
メタデータカラムのプレフィックス
| 追加されたメタデータカラムの名前にプレフィックスを追加し、それらを簡単に識別して、既存のカラムの名前との競合を防ぐことができるようにします。
デフォルト値はINFA_です。
|
Superpipe
| 最初にデータをステージファイルに書き込むのではなく、Snowpipe Streaming APIを使用して、短い待ち時間でSnowflake Data Cloudターゲットテーブルにデータ行を直接すばやくストリーミングするには、このチェックボックスを選択します。このオプションは、すべてのロードタイプで有効にすることができます。
ターゲット接続を設定するときに、KeyPair認証を選択します。
デフォルトでは、このチェックボックスは選択されています。中間ステージファイルにデータを書き込む場合は、選択解除します。
|
マージ頻度
| [Superpipe] が選択されている場合、必要に応じて、変更データ行がマージされてSnowflakeターゲットテーブルに適用される頻度を秒単位で設定できます。 マージ頻度は、ストリーム変更データがSnowflakeベーステーブルにマージされる頻度に影響します。Snowflakeビューは、ストリーム変更データをベーステーブルと結合します。この値を設定すると、ベーステーブルにデータをマージするコストとビュー結合処理のパフォーマンスのバランスを取ることができます。 このフィールドは、増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクに適用されます。値は、60秒~604800秒に設定できます。デフォルトは3600秒です。 |
大文字と小文字の変換を有効にする
| デフォルトでは、ターゲットテーブル名およびカラム名は、対応するソース名と同じ大文字と小文字で生成されます。ただし、ターゲットのクラスタレベルまたはセッションレベルのプロパティがこの大文字と小文字を区別する動作をオーバーライドしている場合を除きます。ターゲット名の大文字と小文字を制御する場合は、このチェックボックスを選択します。次に、 [大文字と小文字の変換ストラテジ] オプションを選択します。
|
大文字と小文字の変換ストラテジ
| [大文字と小文字の変換を有効にする] を選択した場合は、以下のいずれかのオプションを選択して、生成されたターゲットテーブル(またはオブジェクト)名およびカラム(またはフィールド)名の大文字と小文字の処理方法を指定します。
デフォルト値は、 [ソースと同じ] です。
選択したストラテジは、大文字と小文字の制御に関するターゲットのクラスタレベルまたはセッションレベルのプロパティをオーバーライドします。
|