目次

Search

  1. はじめに
  2. 一括取り込みデータベース

一括取り込みデータベース

一括取り込みデータベース

Amazon S3、フラットファイル、Google Cloud Storage、Microsoft Azure Data Lake Storage、Microsoft Fabric OneLake、およびOracle Cloud Object Storageターゲット

Amazon S3、フラットファイル、Google Cloud Storage、Microsoft Azure Data Lake Storage、Microsoft Fabric OneLake、およびOracle Cloud Object Storageターゲット

次のリストは、Amazon S3、フラットファイル、Google Cloud Storage、Microsoft Azure Data Lake Storage、Microsoft Fabric OneLake、およびOracle Cloud Infrastructure(OCI)Object Storageターゲットを使用する際の考慮事項を示しています。
  • Microsoft Fabric OneLakeは、初期ロードジョブでのみターゲットとして使用できます。
  • Amazon S3、Google Cloud Storage、Microsoft Azure Data Lake Storage、Microsoft Fabric OneLake、またはOracle Cloud Object Storageターゲットを持つデータベース取り込みタスクを定義する場合、ターゲットに適用するソースデータを含む生成された出力ファイルに対してCSV形式、Avro形式、またはParquet形式のいずれかを選択できます。フラットファイルターゲットの場合、出力ファイル形式としてCSVまたはAvroを選択できます。
  • [CSV]出力形式を選択した場合、
    一括取り込みデータベース
    は、ソーステーブルごとに次のファイルをターゲットに作成します。
    • スキーマを記述し、ターゲット上の出力ファイルのいくつかの設定を含むschema.iniファイル。
    • ソースデータを含む、ソーステーブルごとの1つ以上の出力ファイル。
      一括取り込みデータベース
      は、日付と時刻が追加されたソーステーブルの名前に基づいて、これらのテキストファイルに名前を付けます。
    schema.iniファイルには、対応する出力ファイルの行の一連のカラムが一覧表示されます。次の表で、schema.iniファイルのカラムについて説明します。
    カラム
    説明
    ColNameHeader
    ソースデータファイルにカラムヘッダーが含まれているかどうかを示します。
    Format
    出力ファイルの形式を示します。
    一括取り込みデータベース
    はカンマ(,)を使用してカラムの値を区切ります。
    CharacterSet
    出力ファイルに使用される文字セットを指定します。
    一括取り込みデータベース
    はUTF-8文字セットでファイルを生成します。
    COL
    <sequence_number>
    カラムの名およびデータ型。
    • タスクウィザードの
      [ターゲット]
      ページの
      [詳細]
      [操作の追加...]
      プロパティのいずれかを選択した場合、カラムのリストには、操作のタイプ、時間、所有者、またはトランザクションIDのメタデータカラムが含まれます。
    • [前のイメージを追加]
      チェックボックスを選択した場合、ソースカラムごとにジョブがUNDOデータの
      column_name
      _OLDカラムとREDOデータの
      column_name
      _NEWカラムを作成します。
    schema.iniファイルは編集しないでください。
  • [Avro]出力フォーマットを選択した場合、Avro形式タイプ、ファイル圧縮タイプ、Avroデータ圧縮タイプ、および各ソーステーブルに対して生成されたAvroスキーマ定義を格納するディレクトリを選択できます。スキーマ定義ファイルの命名パターンは、
    スキーマ名
    _
    テーブル名
    .txtです。
  • Parquet出力形式を選択した場合、必要に応じて、Parquetがサポートする圧縮タイプを選択できます。
  • フラットファイル、Microsoft Azure Data Lake Storage、およびMicrosoft Fabric OneLakeターゲットでは、
    一括取り込みデータベース
    は空のソーステーブルごとに空のディレクトリを作成します。一括取り込みデータベースは、Amazon S3、Google Cloud Storage、およびOracle Cloud Object Storageターゲットに空のディレクトリを作成しません。
  • Amazon S3接続プロパティでアクセスキーと秘密鍵を指定しない場合、
    一括取り込みデータベース
    はDefaultAWSCredentialsProviderChainクラスによって実装されているデフォルトの資格情報プロバイダチェーンを使用して、AWS資格情報を見つけようとします。詳細については、
    Amazon Webサービス
    のドキュメントを参照してください。
  • データベース取り込み増分ロードジョブ、および初期ロードジョブと増分ロードジョブの組み合わせが、ソースのプライマリキー値をCSV出力形式を使用するこれらのターゲットのいずれかに変更する更新操作をレプリケートする場合、ジョブは各更新レコードをターゲットでの2つのレコード(削除とそれに続く挿入)として処理します。削除には更新前のイメージが含まれています。挿入には同じ行の更新後のイメージが含まれています。
    プライマリキー値を変更しない更新操作の場合、データベース取り込みジョブは各更新を1つの操作として処理し、更新後のイメージのみをターゲットに書き込みます。
    ソーステーブルにプライマリキーがない場合、
    一括取り込みデータベース
    はすべてのカラムがプライマリキーの一部であるかのようにテーブルを扱います。この場合、各更新操作は、削除とそれに続く挿入として処理されます。
  • 一括取り込みジョブは、データがAmazon S3、フラットファイル、Microsoft Azure Data Lake Storage、またはMicrosoft Fabric OneLakeターゲットに送信されるときに、16進数形式でバイナリデータをアンロードします。各16進数カラムの値には、「0x」プレフィックスが付いています。出力ファイルを使用してデータをターゲットにロードする場合は、ファイルを編集して「0x」プレフィックスを削除する必要がある場合があります。
  • WindowsでSecure Agentサービスを実行していて、フラットファイル接続を使用する場合は、Secure Agentのログオンアカウントが管理者アカウントであることを確認してください。これを行わないと、フラットファイル接続を設定しようとしたときにエラーが発生します。