Hi, I'm Ask INFA!
What would you like to know?
ASK INFAPreview
Please to access Ask INFA.

目次

Search

  1. はじめに
  2. アプリケーション取り込みとレプリケーション

アプリケーション取り込みとレプリケーション

アプリケーション取り込みとレプリケーション

Amazon S3、Google Cloud Storage、Microsoft Azure Data Lake Storage Gen2、Microsoft Fabric OneLake、およびOracle Cloud Object Storageターゲットのガイドライン

Amazon S3、Google Cloud Storage、Microsoft Azure Data Lake Storage Gen2、Microsoft Fabric OneLake、およびOracle Cloud Object Storageターゲットのガイドライン

Amazon S3、Google Cloud Storage、Microsoft Azure Data Lake Storage Gen2、Microsoft Fabric OneLake、およびOracle Cloud Infrastructure(OCI)Object Storageターゲットを使用する場合は、次のガイドラインを考慮してください。
  • Amazon S3、Google Cloud Storage、Microsoft Azure Data Lake Storage Gen2、Microsoft Fabric OneLake、またはOracle Cloud Object Storageターゲットを使用する
    アプリケーション取り込みとレプリケーション
    タスクを設定する場合は、ターゲットに適用するソースデータを含む出力ファイルの形式としてCSV、Avro、Parquetのいずれかを選択できます。
  • 出力ファイル形式として
    [CSV]
    を選択した場合、
    アプリケーション取り込みとレプリケーション
    は、ソースフィールドごとに次のファイルをターゲットに作成します。
    • フィールドのスキーマを記述するschema.iniファイル。このファイルには、ターゲットの出力ファイルに対するいくつかの設定も含まれています。
    • ソースフィールドに保存されているデータを含む出力ファイル。
      アプリケーション取り込みとレプリケーション
      は、日付と時刻が追加されたソースフィールドの名前に基づいて、出力ファイルに名前を付けます。
    schema.iniファイルには、対応する出力ファイルの行の一連のカラムが一覧表示されます。次の表で、schema.iniファイルのカラムについて説明します。
    カラム
    説明
    ColNameHeader
    ソースデータファイルにカラムヘッダーが含まれているかどうかを示します。
    Format
    出力ファイルの形式。
    アプリケーション取り込みとレプリケーション
    はカンマ(,)を使用してカラムの値を区切ります。
    CharacterSet
    対応する出力ファイルに使用される文字セット。デフォルトでは、
    アプリケーション取り込みとレプリケーション
    はUTF-8文字セットでファイルを生成します。
    COL
    <sequence_number>
    ソースフィールドの名前とデータ型。
    • タスクウィザードの
      [ターゲット]
      ページの
      [詳細]
      [操作の追加...]
      プロパティのいずれかを選択した場合、カラムのリストには、操作のタイプ、時間、所有者、またはトランザクションIDのメタデータカラムが含まれます。
    • [前のイメージを追加]
      チェックボックスを選択した場合、ソースカラムごとにジョブがUNDOデータの
      column_name
      _OLDカラムとREDOデータの
      column_name
      _NEWカラムを作成します。
    schema.iniファイルを編集してはいけません。
  • [Avro]出力フォーマットを選択した場合、Avro形式タイプ、ファイル圧縮タイプ、Avroデータ圧縮タイプ、および各ソーステーブルに対して生成されたAvroスキーマ定義を格納するディレクトリを選択できます。スキーマ定義ファイルの命名パターンは、
    スキーマ名
    _
    テーブル名
    .txtです。
  • Parquet出力形式を選択した場合、必要に応じて、Parquetがサポートする圧縮タイプを選択できます。
  • Microsoft Azure Data Lake Storage Gen2およびMicrosoft Fabric OneLakeターゲット用に設定された
    アプリケーション取り込みとレプリケーション
    タスクの場合、
    アプリケーション取り込みとレプリケーション
    は、空のソースフィールドごとに、ターゲットに空のディレクトリを作成します。
  • Amazon S3ターゲットについては、接続プロパティでアクセスキーと秘密鍵を指定しない場合、
    アプリケーション取り込みとレプリケーション
    はDefaultAWSCredentialsProviderChainクラスによって実装されているデフォルトの資格情報プロバイダチェーンを使用して、AWS資格情報を見つけようとします。詳細については、Amazon Webサービスのドキュメントを参照してください。
  • CSV出力形式を使用する、ターゲット用に設定された増分ロードジョブまたは初期ロードジョブと増分ロードジョブの組み合わせが、ソースのプライマリキーの値を変更した更新操作をプロパゲートする場合、ジョブは関連するターゲット行に対して削除操作を実行してから、同じ行に対して挿入操作を実行することで、ソースオブジェクトに加えられた変更をレプリケートします。削除操作は操作前のイメージをターゲットに書き込み、後続の挿入イメージは操作後のイメージをターゲットに書き込みます。
    プライマリキー値を変更しない更新操作の場合、
    アプリケーション取り込みとレプリケーション
    ジョブは各更新操作を1つの操作として処理し、操作後のイメージのみをターゲットに書き込みます。
    ソースオブジェクトにプライマリキーが含まれていない場合、
    アプリケーション取り込みとレプリケーション
    は、オブジェクトのすべてのフィールドがプライマリキーの一部であると見なします。そのようなシナリオでは、
    アプリケーション取り込みとレプリケーション
    はソースに対して実行された各更新操作を、ターゲットに対する削除操作とそれに続く挿入操作として処理します。