Mass Ingestion
- Mass Ingestion
- 所有产品
フィールド
| 説明
|
---|---|
レプリケーションスロット名
| PostgreSQLレプリケーションスロットの一意の名前。
スロット名には、小文字のラテン英数字とアンダースコア(_)文字を含めることができます。
最大長は63文字です。
各データベース取り込みタスクは、異なるレプリケーションスロットを使用する必要があります。
|
レプリケーションプラグイン
| PostgreSQLレプリケーションプラグイン。次のオプションがあります。
|
パブリケーション
| レプリケーションプラグインとして pgoutput を選択した場合は、このプラグインが使用するパブリケーション名を指定します。
レプリケーションプラグインとしてwal2jsonを選択した場合、このフィールドは表示されません。
|
方法
| サポートされるソース
| 説明
|
---|---|---|
CDCテーブル
| SQL Serverのみ
| SQL Server CDCテーブルからデータ変更を直接読み取ります。
|
ログベース
| OracleおよびSQL Server
| データベーストランザクションログを読み取ることによって、挿入、更新、削除、およびカラムのDDL変更を近似リアルタイムでキャプチャします。
Oracleソースの場合、データ変更はOracle REDOログから読み取られます。
SQL Serverソースの場合、データ変更はSQL Serverトランザクションログと有効なSQL Server CDCテーブルから読み取られます。
|
クエリベース
| Db2 for LUW、Oracle、およびSQL Server
| CDCクエリカラムを指すSQL WHERE句を使用して、挿入と更新をキャプチャします。クエリカラムは、CDC間隔の開始以降にソーステーブルに加えられた変更を含む行の識別に使用されます。
増分ロードジョブおよび初期ロードと増分ロードの組み合わせジョブのDb2 for LUWソースの場合、このキャプチャメソッドのみ使用できます。
|
status,schema_name,table_name,object_type,column_name,comment
フィールド
| 説明
|
---|---|
status
| 一括取り込みデータベースにサポートされていないタイプがあるために、ソーステーブルまたはカラムを処理から除外するかどうかを示します。有効な値は以下のとおりです。
|
schema_name
| ソーススキーマの名前を指定します。
|
table_name
| ソーステーブルの名前を指定します。
|
object_type
| ソースオブジェクトのタイプを指定します。有効な値は以下のとおりです。
|
column_name
| ソースカラムの名前を指定します。この情報は、 [カラム] チェックボックスを選択した場合にのみ表示されます。
|
comment
| サポートされていないタイプのソースオブジェクトが、選択ルールに一致していても処理から除外される理由を指定します。
|
プロパティ
| ソースとロードタイプ
| 説明
|
---|---|---|
フラッシュバックの無効化
| Oracleソース - 初期ロード
| データベースからデータを取得するときに一括取り込みデータベースがOracle Flashbackを使用できないようにするには、このチェックボックスを選択します。
Oracle Flashbackを使用するには、ユーザーにEXECUTE ON DBMS_FLASHBACK権限を付与する必要があります。これは、初期ロードには必要ありません。
このチェックボックスは、新しい初期ロードタスクに対してデフォルトで選択されています。既存の初期ロードタスクの場合、このチェックボックスはデフォルトでクリアされているため、Oracle Flashbackは有効のままになります。パーティション化が有効なタスクの場合、このチェックボックスは自動的に選択され、編集できません。
|
LOBを含める
| Oracleソース:
PostgreSQLソース:
SQL Serverソース:
CDCメソッドとして [クエリベース] を選択した場合、このフィールドは無効になります。
| ターゲットにデータをレプリケートするラージオブジェクト(LOB)カラムがソースに含まれている場合は、このチェックボックスを選択します。
LOBデータ型は次のとおりです。
ターゲットタイプに固有の切り詰めポイントによっては、LOBデータが切り詰められる場合があります。
初期ロードの場合:
増分ロードと複合ロードのPostgreSQLソースの場合、ラージオブジェクトカラムに1 MBを超えるデータが含まれていると、データは1 MBに切り詰められます。
Azure Event Hubsターゲットの場合、全体のレコードの最大サイズは1 MBです。レコードサイズが1 MBを超えると、Azure Event Hubsはエラーを生成し、タスクは失敗します。
|
永続ストレージの有効化
| Db2 for LUW(クエリベースのCDC)、MongoDB、Oracle(クエリベースのCDC)、PostgreSQL、SAP HANA、SAP HANA Cloud、およびSQL Server(クエリベースのCDC)を除くすべてのソース - 増分ロード、および初期ロードと増分ロードの組み合わせ。
クエリベースのCDCメソッドを使用するDb2 for LUW、Oracle、およびSQL Serverソースの場合、このフィールドは表示されません。これは、永続ストレージがデフォルトで有効になっていて変更できないためです。
MongoDB、PostgreSQL、SAP HANA、およびSAP HANA Cloud変更データソースの場合、永続ストレージがデフォルトで有効になっていて変更できないため、このフィールドは表示されません。
| ターゲットへのデータの書き込みが遅い場合や遅延している場合でもデータを継続的に使用できるようにディスクバッファへのトランザクションデータの永続ストレージを有効にするには、このチェックボックスを選択します。
永続ストレージを使用する利点は、ソーストランザクションログの消費が高速になり、ログアーカイブやバックアップへの依存度が低くなるため、データベース取り込みジョブを再開した後もディスクストレージ内の永続データに引き続きアクセスできることです。
|
パーティション化の有効化
| Oracleソース - 初期ロード、および初期ロードと増分ロードの組み合わせ
SQL Serverソース - 初期ロード、および初期ロードと増分ロードの組み合わせ
| ソースオブジェクトのパーティション化を有効にする場合は、このチェックボックスを選択します。オブジェクトがパーティション化されると、 データベース統合 ジョブは、各パーティションから読み取ったレコードを並列処理します。
Oracleソースの場合、 一括取り込みデータベース はROWIDをパーティションキーとして使用して、パーティションの範囲を決定します。また、[パーティション化の有効化] チェックボックスを選択すると、[フラッシュバックの無効化] チェックボックスが自動的に選択されます。
SQL Serverソースの場合、パーティション化はプライマリキーに基づきます。
初期ロードと増分ロードを組み合わせた場合、ソースオブジェクトのパーティション化は初期ロードフェーズでのみ行われます。
|
パーティションの数
| Oracleソース - 初期ロード、および初期ロードと増分ロードの組み合わせ
SQL Serverソース - 初期ロード、および初期ロードと増分ロードの組み合わせ
| ソースオブジェクトのパーティション化を有効にする場合、作成するパーティションの数を入力します。デフォルト数は5です。最小値は2です。
|
増分ロード操作の当初の開始点
| すべてのソース - 増分ロード
| ソースログ内の位置をカスタマイズする場合は、このフィールドを設定します。 データベース統合 ジョブは、最初に実行されたときに変更レコードの読み取りをこの位置から開始します。
次のオプションがあります。
デフォルトは [使用可能な最新] です。
|
取得サイズ
| MongoDB - 初期ロードと増分ロード
| MongoDBソースの場合、 データベース統合 ジョブがソースから一度に読み取る必要があるレコードの数。有効な値は1~2147483647です。デフォルトは5000。
|