Hi, I'm Ask INFA!
What would you like to know?
ASK INFAPreview
Please to access Ask INFA.

目次

Search

  1. はじめに
  2. アプリケーション取り込みとレプリケーション

アプリケーション取り込みとレプリケーション

アプリケーション取り込みとレプリケーション

Google BigQueryターゲットのガイドライン

Google BigQueryターゲットのガイドライン

Google BigQueryターゲットを使用する場合は、次のガイドラインを考慮してください。
  • Google BigQueryターゲットを初めて使用する場合は、ターゲットに対して
    アプリケーション取り込みとレプリケーション
    タスクを設定する前に、次の手順を実行します。
    1. Google BigQuery JDBCドライバSimbaJDBCDriverforGoogleBigQuery42_1.6.1.1002をGoogle CloudのWebサイトからダウンロードします。
    2. インストールzipからGoogleBigQueryJDBC42.jarファイルのみを次のディレクトリにコピーします。
      <
      Secure_Agent_installation_directory
      >/apps/Database_Ingestion/ext/
      そのディレクトリに他のGoogle BigQueryドライバ.jarファイルが存在する場合は、それらを削除します。これらは現在、
      アプリケーション取り込みとレプリケーション
      にバンドルされています。
    3. Secure Agentを再起動します。
  • Google BigQueryとGoogle Cloud StorageにアクセスするためのサービスアカウントがGoogleアカウントにある必要があります。
  • サービスアカウントにclient_email、project_id、private_key、およびregionIDの値があることを確認してください。Google BigQuery接続を作成するときに、対応する
    [サービスアカウントID]
    [プロジェクトID]
    [サービスアカウントキー]
    、および
    [リージョンID]
    接続プロパティに値を入力します。
  • Google BigQuery接続のタイムアウト間隔を設定する場合は、接続プロパティの
    [オプションのプロパティを指定]
    フィールドでタイムアウト間隔プロパティを指定します。次の形式を使用します。
    "timeout": "<
    timeout_interval_in_seconds
    >"
  • 次のエンティティへの読み取りおよび書き込みアクセスが必要です。
    • ターゲットテーブルを含むGoogle BigQueryデータセット。
    • アプリケーション取り込みとレプリケーション
      がステージングファイルを作成するGoogle Cloud Storageパス。
  • Google BigQueryターゲット用に設定された
    アプリケーション取り込みとレプリケーション
    ジョブは、ソースフィールドの変更と名前変更をターゲットにレプリケートしません。
  • 増分ロードタスクの場合、すべてのソースフィールドに対してソースデータベース変更データキャプチャ(Change Data Capture: CDC)を有効にする必要があります。
  • Google BigQueryテーブルにデータを書き込むには、次の権限が必要です。
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.models.*
    • bigquery.routines.*
    • bigquery.tables.create
    • bigquery.tables.delete
    • bigquery.tables.export
    • bigquery.tables.get
    • bigquery.tables.getData
    • bigquery.tables.list
    • bigquery.tables.update
    • bigquery.tables.updateData
    • bigquery.tables.updateTag
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • bigquery.jobs.create
  • アプリケーション取り込みとレプリケーション
    ジョブをデプロイすると、
    アプリケーション取り込みとレプリケーション
    はデフォルトでは、プライマリキーカラムまたは一意のキーカラムでクラスタ化されたGoogle BigQueryターゲットテーブルを生成します。各キーカラムには、Google BigQueryがクラスタリングでサポートする次のいずれかのデータ型が必要です。
    • STRING
    • INT64
    • NUMERIC
    • BIGNUMERIC
    • DATE
    • DATETIME
    • TIMESTAMP
    • BOOL
    • GEOGRAPHY
    プライマリキーまたはユニークキーのカラムにサポートされていないデータ型がある場合、クラスタリング時にそのカラムはスキップされます。例えば、プライマリキーにC1、C2、C3、C4、C5カラムが含まれていて、C2にサポートされていないデータ型がある場合、ターゲットテーブルはCLUSTER BY句にC1、C3、C4、およびC5カラムを使用して作成されます。