目次

Search

  1. はじめに
  2. 一括取り込みデータベース

一括取り込みデータベース

一括取り込みデータベース

Snowflake Data Cloudターゲットのプロパティ

Snowflake Data Cloudターゲットのプロパティ

データベース統合
タスクを定義する場合は、Snowflake Data Cloudターゲットのいくつかのプロパティをタスクウィザードの
[ターゲット]
ページで入力する必要があります。プロパティは、ロードタイプによってわずかに異なります。
次の表は、
[ターゲット]
に表示されるSnowflakeターゲットのプロパティについて説明しています。
プロパティ
説明
ターゲット作成
利用可能なただ1つのオプションは、
[ターゲットテーブルを作成する]
であり、これによりソーステーブルをベースにしてターゲットテーブルを生成します。
ターゲットテーブルが作成された後、一括取り込みデータベースは、後続のジョブ実行でターゲットテーブルをインテリジェントに処理します。一括取り込みデータベースは、特定の状況に応じて、ターゲットテーブルを切り詰めたり再作成したりする場合があります。
スキーマ
一括取り込みデータベース
がターゲットテーブルを作成するターゲットスキーマを選択します。
ステージ
データがターゲットテーブルに書き込まれる前にソースから読み取られたデータを保持する内部ステージング領域の名前。この名前にスペースを含めることはできません。指定されたステージング領域が存在しない場合、自動的に作成されます。
適用モード
増分ロードジョブ、および初期ロードと増分ロードの組み合わせジョブの場合に、挿入、更新、削除といったソースDMLの変更がターゲットにどのように適用されるかを示します。次のオプションがあります。
  • 標準
    。1回の適用サイクルの間の変更を累積し、それをターゲットに適用する前に、より少ないSQL文になるようにそれらをインテリジェントにマージします。例えば、ソース行で更新とそれに続く削除が発生した場合、ターゲットに行は適用されません。同じカラムまたはフィールドで複数の更新が発生した場合、最後の更新のみがターゲットに適用されます。異なるカラムまたはフィールドで複数の更新が発生した場合、更新はターゲットに適用される前に1つの更新レコードにマージされます。
  • 論理削除
    。ソース削除操作を論理削除としてターゲットに適用します。論理削除では、削除された行をデータベースから実際には削除せずに、削除済みとしてマークします。例えば、ソースで削除を行うと、ターゲットの変更レコードのINFA_OPERATION_TYPEカラムに「D」が表示されます。
    処理を完了するために論理的に削除されたデータが必要となる、長期にわたるビジネスプロセスがある場合、誤って削除したデータを復元する必要がある場合、または削除された値を監査目的で追跡する必要がある場合は、論理削除の使用を検討してください。
    [論理削除]
    モードを使用する場合は、ソーステーブルのプライマリキーに対して更新を実行しないでください。そうしないと、ターゲットでデータ破損が発生する可能性があります。
  • 監査
    。ソーステーブルで実行されたすべてのDML操作の監査証跡をターゲットに適用します。ソーステーブルの各DML変更の行が、
    [詳細]
    セクションで選択した監査カラムとともに、生成されたターゲットテーブルに書き込まれます。監査カラムには、DML操作タイプ、時刻、所有者、トランザクションID、生成された昇順シーケンス番号、前のイメージなどの変更に関するメタデータが含まれています。監査履歴を使用して、データをターゲットデータベースに書き込む前にダウンストリームの計算または処理を実行する場合、またはキャプチャされた変更に関するメタデータを調べる場合は、監査適用モードの使用を検討してください。
デフォルト値は
[標準]
です。
タスクウィザードの
[ソース]
ページで手法として
[クエリベースのCDC]
を選択した場合、このフィールドは表示されません。
次の表は、
[詳細]
に表示されるターゲットの詳細プロパティについて説明しています。
プロパティ
説明
最終レプリケート時刻を追加
ターゲットテーブルでレコードが挿入または最後に更新された時点のタイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスをオンにします。初期ロードの場合、ロードされたすべてのレコードのタイムスタンプは同じですが、Superpipeオプションを使用するSnowflakeターゲットに限り、分と秒がわずかに異なる可能性があります。増分ロード、および初期ロードと増分ロードの組み合わせの場合、このカラムには、ターゲットに適用された最後のDML操作のタイムスタンプが記録されます。
デフォルトでは、このチェックボックスは選択されていません。
操作タイプの追加
ジョブがターゲットデータベースにプロパゲートする出力、またはターゲットシステムの監査テーブルに挿入する出力にソースSQL操作タイプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。
このフィールドは、
[適用モード]
オプションが
[監査]
または
[論理削除]
に設定されている場合にのみ使用できます。
監査モードでは、ジョブはこのメタデータカラムに、挿入の場合は「I」、更新の場合は「U」、削除の場合は「D」を書き込みます。
論理削除モードでは、ジョブは削除の場合は「D」を書き込み、挿入と更新の場合はNULLを書き込みます。操作タイプがNULLの場合、他の[操作の追加...]メタデータカラムもNULLです。操作タイプが「D」の場合にのみ、他のメタデータカラムにNULL以外の値が含まれます。
デフォルトでは、このチェックボックスは選択されています。論理削除を使用している場合は、選択を解除できません。
操作時間の追加
ジョブがターゲットデータベースにプロパゲートする出力、またはターゲットシステムの監査テーブルに挿入する出力にソースSQL操作のタイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。
このフィールドは、
[適用モード]
[監査]
または
[論理削除]
に設定されている場合にのみ使用できます。
デフォルトでは、このチェックボックスは選択されていません。
操作所有者の追加
ジョブがターゲットデータベースにプロパゲートする出力、またはターゲットシステムの監査テーブルに挿入する出力にソースSQL操作の所有者を記録するメタデータカラムを追加するには、このチェックボックスを選択します。
このフィールドは、
[適用モード]
[監査]
または
[論理削除]
に設定されている場合にのみ使用できます。
デフォルトでは、このチェックボックスは選択されていません。
このプロパティは、MongoDBソースまたはPostgreSQLソースを持つジョブでは使用できません。
操作トランザクションIDの追加
ジョブがSQL操作のターゲットにプロパゲートする出力にソーストランザクションIDを含むメタデータカラムを追加するには、このチェックボックスを選択します。
このフィールドは、
[適用モード]
[監査]
または
[論理削除]
に設定されている場合にのみ使用できます。
デフォルトでは、このチェックボックスは選択されていません。
操作シーケンスの追加
ジョブがターゲットシステムの監査テーブルに挿入する変更操作ごとに、生成された昇順のシーケンス番号を記録するメタデータカラムを追加するには、このチェックボックスを選択します。シーケンス番号には、操作の変更ストリーム位置が反映されます。
このフィールドは、
[適用モード]
[監査]
に設定されている場合にのみ使用できます。
デフォルトでは、このチェックボックスは選択されていません。
前のイメージを追加
ジョブがターゲットテーブルに挿入する出力にUNDOの「操作前のイメージ」データを含む_OLDカラムを追加するには、このチェックボックスを選択します。これにより、各データカラムの以前の値と現在の値を比較できるようになります。削除操作の場合、現在の値はNULLになります。
このフィールドは、
[適用モード]
[監査]
に設定されている場合にのみ使用できます。
デフォルトでは、このチェックボックスは選択されていません。
メタデータカラムのプレフィックス
追加されたメタデータカラムの名前にプレフィックスを追加し、それらを簡単に識別して、既存のカラムの名前との競合を防ぐことができるようにします。
デフォルト値はINFA_です。
Superpipe
最初にデータをステージファイルに書き込むのではなく、Snowpipe Streaming APIを使用して、短い待ち時間でSnowflake Data Cloudターゲットテーブルにデータ行を直接すばやくストリーミングするには、このチェックボックスを選択します。このオプションは、すべてのロードタイプで有効にすることができます。
ターゲット接続を設定するときに、KeyPair認証を選択します。
デフォルトでは、このチェックボックスは選択されています。中間ステージファイルにデータを書き込む場合は、選択解除します。
マージ頻度
[Superpipe]
が選択されている場合、必要に応じて、変更データ行がマージされてSnowflakeターゲットテーブルに適用される頻度を秒単位で設定できます。このフィールドは、増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクに適用されます。有効な値は300~604800です。デフォルトは3600秒です。
大文字と小文字の変換を有効にする
デフォルトでは、ターゲットテーブル名およびカラム名は、対応するソース名と同じ大文字と小文字で生成されます。ただし、ターゲットのクラスタレベルまたはセッションレベルのプロパティがこの大文字と小文字を区別する動作をオーバーライドしている場合を除きます。ターゲット名の大文字と小文字を制御する場合は、このチェックボックスを選択します。次に、
[大文字と小文字の変換ストラテジ]
オプションを選択します。
このチェックボックスは、
[Superpipe]
オプションを選択した場合は使用できません。SnowflakeのSuperpipeオプションを使用している場合は、大文字と小文字の変換を有効にできません。
大文字と小文字の変換ストラテジ
[大文字と小文字の変換を有効にする]
を選択した場合は、以下のいずれかのオプションを選択して、生成されたターゲットテーブル(またはオブジェクト)名およびカラム(またはフィールド)名の大文字と小文字の処理方法を指定します。
  • ソースと同じ
    。ソーステーブル(またはオブジェクト)名およびカラム(またはフィールド)名と同じ大文字と小文字を使用します。
  • UPPERCASE
    。すべて大文字を使用します。
  • lowercase
    。すべて小文字を使用します。
デフォルト値は、
[ソースと同じ]
です。
選択したストラテジは、大文字と小文字の制御に関するターゲットのクラスタレベルまたはセッションレベルのプロパティをオーバーライドします。