目次

Search

  1. はじめに
  2. Snowflake Data Cloud Connectorの概要
  3. Snowflake Data Cloudへの接続
  4. Snowflake Data Cloudのマッピング
  5. Snowflake Data Cloudのソース
  6. Snowflake Data Cloudのターゲット
  7. Snowflake Data Cloudのルックアップ
  8. プッシュダウンの最適化
  9. Snowflake Data Cloud接続を使用したプッシュダウンの最適化(SQL ELT)
  10. マッピングの移行
  11. 付録 A: データ型リファレンス
  12. 付録 B: 追加のランタイム設定
  13. 付録 C: Snowflake Data Cloud Connectorへのアップグレード

Snowflake Data Cloud Connector

Snowflake Data Cloud Connector

マッピングでのプロパティのロードの設定

マッピングでのプロパティのロードの設定

ターゲットトランスフォーメーションのSnowflakeの詳細ターゲットプロパティにある
[追加の書き込みランタイムパラメータ]
フィールドで、Snowflake Data Cloudにデータをロードするための書き込みプロパティを設定できます。
次の表に、Snowflakeにデータをロードする場合に指定できる追加のランタイムパラメータの一部を一覧で示します。
プロパティ
説明
oneBatch
すべてのデータを1回のバッチで処理します。
タイプはブール値です。
デフォルトはfalseです。
remoteStage
内部ステージを使用するように指定します。外部ステージは使用されません。
タイプは文字列です。
デフォルトは「~」(ユーザーステージ)です。
onError
ファイルからデータを読み込むときにエラーが発生した場合に実行するアクションを指定します。
例:
onError option ABORT_STATEMENT|CONTINUE|SKIP_FILE
タイプは文字列です。
デフォルトはCONTINUEです。
compressFileByPut
PUTでファイルを圧縮します。
タイプはブール値です。
デフォルトはfalseです。
compressDataBeforePut
PUTの前にデータを圧縮します。
ローダーは、アップロードする前にデータをgzip形式に圧縮します。
タイプはブール値です。
デフォルトはtrueです。
copyEmptyFieldAsEmpty
空の受信フィールドをNULLに設定するためのCOPYコマンドオプション。
タイプはブール値です。
enablePGZIP
ファイル圧縮の並列処理を有効にします。
タイプはブール値です。
デフォルトはtrueです。
onError=ABORT_STATEMENT&oneBatch=true
すべてのデータを単一バッチにロードし、エラーが発生した場合はタスクを停止します。同時に、ユーザーが指定した拒否ファイルパスを検証し、エラーレコードをこのファイルとセッションログに書き込みます。
タイプはonError - 文字列またはoneBatch - ブール値です。
追加のランタイムパラメータフィールドの値を設定するときに、設定済みの各パーティションは新しいローダーインスタンスを初期化し、設定した値はすべてのパーティションに渡って同様に適用されます。

例1.ファイルを圧縮する

データをSnowflakeにロードする前に、Putコマンドを使用してファイルを圧縮する例を考えます。
次の圧縮オプションを指定します:
compressDataBeforePut=false&compressFileByPut=true
両方のオプションにtrueを指定した場合、Snowflakeは
compressDataBeforePut
オプションを考慮します。

例2.空の値をNULLに置き換える

データをSnowflakeにロードしている間に、空の値を持つ受信フィールドをNULLに置き換える例を考えます。
copyEmptyFieldAsEmpty Boolean
オプションを指定して、要件に応じて値をtrueまたはfalseに設定します。
copyEmptyFieldAsEmpty Boolean
パラメータを設定する前に、次のシナリオを考慮します。
  • このパラメータを設定しない場合、NULL値はNULLとして受信され、空の値はEmptyとして受信されます。これはデフォルトの動作です。
  • パラメータ
    copyEmptyFieldAsEmpty=false
    を設定した場合、NULL値はNULLとして受信され、空の値はNULLとして受信されます。
  • パラメータ
    copyEmptyFieldAsEmpty=true
    を設定した場合、NULL値は空として受信され、空の値は空として受信されます。

例3.単一バッチでデータを書き込む

単一バッチ内のソースデータをSnowflakeに書き込む例を考えます。ロード中にエラーが発生した場合、そのエラーをキャプチャする必要もあります。
要件に応じて、
onError=ABORT_STATEMENT&oneBatch=true
プロパティを指定します。
単一バッチでロード中にエラーが発生した場合、Secure Agentは指定された拒否ファイル名があるかどうかをチェックし、COPYコマンドを実行し、拒否ファイルを検証してから、エラー(ある場合)をキャプチャするためのファイル名を渡します。