ユーザーガイド

10.2.2 Service Pack 1
- 10.5.7
- 10.5.1
- 10.4.0
- 10.2.2 HotFix 1
- 10.2.2

前へ次へ

Sqoopマッピングの差分データ抽出

Sqoopマッピングを設定すると、IDまたはタイムスタンプベースのソースカラムに基づいた差分データ抽出を実行できます。差分データ抽出では、Sqoopは最後のデータ抽出以降変更されたデータのみを抽出します。差分データ抽出により、マッピングのパフォーマンスが向上します。

差分データ抽出を実行するには、Sqoopマッピングの読み取りトランスフォーメーションの

［Sqoop importの追加の引数］

テキストボックスで引数を設定します。

差分データ抽出では、次の引数のすべてを設定する必要があります。

--infa-incremental-type: 差分データ抽出をIDとタイムスタンプカラムのどちらに基づいて実行するかを指定します。
ソーステーブルに、プライマリキーまたは一意キーカラムとして動作するIDカラムが含まれている場合は、IDカラムに基づく差分データ抽出を設定できます。--Infa-incremental-type引数の値を
ID
として設定します。Sqoopは、最後に抽出されたIDより大きなIDを持つ行を抽出します。
ソーステーブルに、すべての行の最後に更新された時刻を含むタイムスタンプカラムが含まれている場合は、タイムスタンプカラムに基づく差分データ抽出を設定できます。--Infa-incremental-type引数の値を
timestamp
として設定します。Sqoopは、最後に読み取られたタイムスタンプ値または最大タイムスタンプ値より大きなタイムスタンプを持つ行を抽出します。
以下の構文を使用します。
--infa-incremental-type <ID or timestamp>
--infa-incremental-key: Sqoopが差分データ抽出を実行するカラム名を指定します。
以下の構文を使用します。
--infa-incremental-key <column_name>
--infa-incremental-value: Sqoopが差分データ抽出を実行するためにベースライン値として使用するカラム値を指定します。Sqoopは、--infa-incremental-value引数に定義された値より大きな値を持つすべての行を抽出します。
カラム値は二重引用符で囲みます。
以下の構文を使用します。
--infa-incremental-value "<column_value>"
--infa-incremental-value-format: タイムスタンプカラムに基づく差分データ抽出を設定する場合に適用できます。--infa-incremental-value引数で定義されたカラム値のタイムスタンプ形式を指定します。
形式値は二重引用符で囲みます。
以下の構文を使用します。
--infa-incremental-value-format "<format>"
デフォルトは「MM/dd/yyyy HH:mm:ss.SSSSSSSSS」です。

必要なすべての引数を設定していないのに差分データ抽出を実行した場合、Sqoopマッピングは失敗します。引数値の大文字と小文字は区別されません。

例

組織の営業部門は、Salesforceに新規顧客に関する情報を保存しています。特定の日付後に作成された顧客レコードを読み取り、そのデータをSAPに書き込むSqoopマッピングを作成しようとしています。

このSqoopマッピングでは、次のようにSqoop import引数を定義できます。

--infa-incremental-type timestamp --infa-incremental-key CreatedDate --infa-incremental-value "10/20/2018 00:00:00.000000000" --infa-incremental-value-format "MM/dd/yyyy HH:mm:ss.SSSSSSSSS"

データ統合サービスは、

10/20/2018 00:00:00.000000000

より大きいタイムスタンプ値を含む

CreatedDate

カラムを持つすべての顧客レコードを読み取ります。データの読み取り中、Sqoopマッピングは

10/20/2018 00:00:00.000000000

形式を使用します。

Hadoop環境でのSqoopマッピング

ガイドをダウンロード

ページをウォッチ

フィードバックを送信

コミュニティ