目次

Search

  1. はじめに
  2. 一括取り込みデータベース

一括取り込みデータベース

一括取り込みデータベース

Google BigQueryターゲットのプロパティ

Google BigQueryターゲットのプロパティ

Google BigQueryターゲットのある
データベース統合
タスクを定義する場合、タスクウィザードの
[ターゲット]
タブでターゲットのいくつかのプロパティを入力する必要があります。
次の表は、
[ターゲット]
に表示されるGoogle BigQueryターゲットのプロパティについて説明しています。
プロパティ
説明
ターゲット作成
利用可能なただ1つのオプションは、
[ターゲットテーブルを作成する]
であり、これによりソーステーブルをベースにしてターゲットテーブルを生成します。
ターゲットテーブルが作成された後、一括取り込みデータベースは、後続のジョブ実行でターゲットテーブルをインテリジェントに処理します。一括取り込みデータベースは、特定の状況に応じて、ターゲットテーブルを切り詰めたり再作成したりする場合があります。
スキーマ
一括取り込みデータベース
がターゲットテーブルを作成するターゲットスキーマを選択します。
適用モード
増分ロードジョブ、および初期ロードと増分ロードの組み合わせジョブの場合に、挿入、更新、削除といったソースDMLの変更がターゲットにどのように適用されるかを示します。次のオプションがあります。
  • 標準
    。1回の適用サイクルの間の変更を累積し、それをターゲットに適用する前に、より少ないSQL文になるようにそれらをインテリジェントにマージします。例えば、ソース行で更新とそれに続く削除が発生した場合、ターゲットに行は適用されません。同じカラムまたはフィールドで複数の更新が発生した場合、最後の更新のみがターゲットに適用されます。異なるカラムまたはフィールドで複数の更新が発生した場合、更新はターゲットに適用される前に1つの更新レコードにマージされます。
  • 監査
    。ソーステーブルで実行されたすべてのDML操作の監査証跡をターゲットに適用します。ソーステーブルの各DML変更の行が、
    [詳細]
    セクションで選択した監査カラムとともに、生成されたターゲットテーブルに書き込まれます。監査カラムには、DML操作タイプ、時刻、所有者、トランザクションID、生成された昇順シーケンス番号、前のイメージなどの変更に関するメタデータが含まれています。監査履歴を使用して、データをターゲットデータベースに書き込む前にダウンストリームの計算または処理を実行する場合、またはキャプチャされた変更に関するメタデータを調べる場合は、監査適用モードの使用を検討してください。
デフォルト値は
[標準]
です。
タスクウィザードの
[ソース]
ページで手法として
[クエリベースのCDC]
を選択した場合、このフィールドは表示されません。
バケット
Google Cloud Storageに読み込むデータオブジェクトへのアクセスを保存、整理、制御する既存のバケットコンテナの名前を指定します。
データディレクトリまたはタスクターゲットディレクトリ
一括取り込みデータベース
がタスクに関連付けられたジョブの出力ファイルを格納するサブディレクトリを指定します。このフィールドは、初期ロードジョブの場合は
[データディレクトリ]
、増分ロードジョブ、または初期ロードと増分ロードの組み合わせジョブの場合は
[タスクターゲットディレクトリ]
と呼ばれます。
次の表は、
[詳細]
に表示されるターゲットの詳細プロパティについて説明しています。
プロパティ
説明
最終レプリケート時刻を追加
ターゲットテーブルでレコードが挿入または最後に更新された時点のタイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスをオンにします。初期ロードでは、ロードされたすべてのレコードのタイムスタンプが同じになります。増分ロード、および初期ロードと増分ロードの組み合わせの場合、このカラムには、ターゲットに適用された最後のDML操作のタイムスタンプが記録されます。
デフォルトでは、このチェックボックスは選択されていません。
操作タイプの追加
ジョブがターゲットにプロパゲートする出力にソースSQL操作タイプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。
ジョブは、挿入を表す「I」、更新を表す「U」、または削除を表す「D」を書き込みます。
このフィールドは、
[適用モード]
[監査]
に設定されている場合にのみ使用できます。
デフォルトでは、このチェックボックスは選択されています。
操作時間の追加
ジョブがターゲットテーブルにプロパゲートする出力にソースSQL操作タイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。
このフィールドは、
[適用モード]
[監査]
に設定されている場合にのみ使用できます。
デフォルトでは、このチェックボックスは選択されていません。
操作所有者の追加
ジョブがターゲットテーブルにプロパゲートする出力にソースSQL操作の所有者を記録するメタデータカラムを追加するには、このチェックボックスを選択します。
このフィールドは、
[適用モード]
[監査]
に設定されている場合にのみ使用できます。
デフォルトでは、このチェックボックスは選択されていません。
このプロパティは、MongoDBソースまたはPostgreSQLソースを持つジョブでは使用できません。
操作トランザクションIDの追加
ジョブがSQL操作のターゲットにプロパゲートする出力にソーストランザクションIDを含むメタデータカラムを追加するには、このチェックボックスを選択します。
このフィールドは、
[適用モード]
[監査]
に設定されている場合にのみ使用できます。
デフォルトでは、このチェックボックスは選択されていません。
操作シーケンスの追加
ジョブがターゲットテーブルに挿入する変更操作ごとに、生成された昇順のシーケンス番号を記録するメタデータカラムを追加するには、このチェックボックスを選択します。シーケンス番号には、操作の変更ストリーム位置が反映されます。
このフィールドは、
[適用モード]
[監査]
に設定されている場合にのみ使用できます。
デフォルトでは、このチェックボックスは選択されていません。
前のイメージを追加
ジョブがターゲットテーブルに挿入する出力にUNDOの「操作前のイメージ」データを含む_OLDカラムを追加するには、このチェックボックスを選択します。これにより、各データカラムの以前の値と現在の値を比較できるようになります。削除操作の場合、現在の値はNULLになります。
このフィールドは、
[適用モード]
[監査]
に設定されている場合にのみ使用できます。
デフォルトでは、このチェックボックスは選択されていません。
メタデータカラムのプレフィックス
追加されたメタデータカラムの名前にプレフィックスを追加し、それらを簡単に識別して、既存のカラムの名前との競合を防ぐことができるようにします。
プレフィックスには特殊文字を含めないようにしてください。特殊文字を含めた場合、タスクのデプロイメントが失敗します。
デフォルト値はINFA_です。
大文字と小文字の変換を有効にする
デフォルトでは、ターゲットテーブル名およびカラム名は、対応するソース名と同じ大文字と小文字で生成されます。ただし、ターゲットのクラスタレベルまたはセッションレベルのプロパティがこの大文字と小文字を区別する動作をオーバーライドしている場合を除きます。ターゲット名の大文字と小文字を制御する場合は、このチェックボックスを選択します。次に、
[大文字と小文字の変換ストラテジ]
オプションを選択します。
大文字と小文字の変換ストラテジ
[大文字と小文字の変換を有効にする]
を選択した場合は、以下のいずれかのオプションを選択して、生成されたターゲットテーブル(またはオブジェクト)名およびカラム(またはフィールド)名の大文字と小文字の処理方法を指定します。
  • ソースと同じ
    。ソーステーブル(またはオブジェクト)名およびカラム(またはフィールド)名と同じ大文字と小文字を使用します。
  • UPPERCASE
    。すべて大文字を使用します。
  • lowercase
    。すべて小文字を使用します。
デフォルト値は、
[ソースと同じ]
です。
選択したストラテジは、大文字と小文字の制御に関するターゲットのクラスタレベルまたはセッションレベルのプロパティをオーバーライドします。