目次

Search

  1. はじめに
  2. トランスフォーメーション
  3. ソーストランスフォーメーション
  4. ターゲットトランスフォーメーション
  5. アクセスポリシートランスフォーメーション
  6. アグリゲータトランスフォーメーション
  7. B2B Data Transformation
  8. クレンジングトランスフォーメーション
  9. データマスキングトランスフォーメーション
  10. データサービストランスフォーメーション
  11. 重複排除トランスフォーメーション
  12. 式トランスフォーメーション
  13. フィルタトランスフォーメーション
  14. 階層ビルダートランスフォーメーション
  15. 階層パーサートランスフォーメーション
  16. 階層プロセッサトランスフォーメーション
  17. 入力トランスフォーメーション
  18. Javaトランスフォーメーション
  19. JavaトランスフォーメーションAPIリファレンス
  20. ジョイナトランスフォーメーション
  21. ラベラトランスフォーメーション
  22. ルックアップトランスフォーメーション
  23. 機械学習トランスフォーメーション
  24. マップレットトランスフォーメーション
  25. ノーマライザトランスフォーメーション
  26. 出力トランスフォーメーション
  27. 解析トランスフォーメーション
  28. Pythonトランスフォーメーション
  29. ランクトランスフォーメーション
  30. ルータトランスフォーメーション
  31. ルール仕様トランスフォーメーション
  32. シーケンストランスフォーメーション
  33. ソータートランスフォーメーション
  34. SQLトランスフォーメーション
  35. 構造パーサートランスフォーメーション
  36. トランザクション制御トランスフォーメーション
  37. 共有体トランスフォーメーション
  38. Velocityトランスフォーメーション
  39. ベリファイヤトランスフォーメーション
  40. Webサービストランスフォーメーション

トランスフォーメーション

トランスフォーメーション

アグリゲータトランスフォーメーションの例

アグリゲータトランスフォーメーションの例

変更データキャプチャ(CDC)システムですべての株式の最新の価格を取得する必要があるとします。
各株式の最新の価格を取得するには、マッピングを作成し、アグリゲータトランスフォーメーションとジョイナトランスフォーメーションを追加します。
  • すべての株式を株式IDに基づいてグループ化し、各株式IDの最新の取引時間を計算するようにアグリゲータトランスフォーメーションを設定します。
  • ソースデータとアグリゲータトランスフォーメーション出力を使用して、株式IDと取引時間の自己結合を実行するようにジョイナトランスフォーメーションを設定します。
ターゲットトランスフォーメーションにより、株式IDと価格がターゲットファイルに書き込まれます。

ソースデータ

以下の表に、ソースデータを示します。
STOCK_ID
PRICE
VOLUME
TRADETIME
100
1.12
125
2023.01.20.1245
105
3.45
56
2023.01.18.0821
102
2.29
25
2023.01.19.1118
101
4.56
87
2023.01.17.0901
102
2.35
38
2023.01.20.1649
100
0.99
94
2023.01.20.1355
104
1.88
67
2023.01.20.1730
103
2.11
41
2023.01.17.1211
105
3.40
90
2023.01.18.1525
104
3.40
90
2023.01.20.1634
103
3.40
90
2023.01.20.1526
105
3.40
90
2023.01.19.1745

マッピング設定

次の図は、設定するマッピングを示しています。
アグリゲータトランスフォーメーションを使用するマッピング。このマッピングには、ソース、アグリゲータ、ジョイナ、ターゲットの順にトランスフォーメーションが含まれています。ソーストランスフォーメーションは、アグリゲータトランスフォーメーションとジョイナトランスフォーメーションの両方に接続されています。アグリゲータトランスフォーメーションは、ジョイナトランスフォーメーションに接続されています。ジョイナトランスフォーメーションはターゲットトランスフォーメーションに接続されています。
次の方法でトランスフォーメーションを設定します。
アグリゲータトランスフォーメーション
以下の表に、アグリゲータトランスフォーメーションで設定するためのプロパティを示します。
プロパティ
設定
受信フィールド
集計されたフィールドが一意の名前を持つように、すべての受信フィールドに「
agg_
」というプレフィックスを付けるフィールドルールを設定します。
グループ化
agg_stock_id
フィールドに基づいてグループ化を行います。
集計
次のプロパティを持つ集計フィールドを1つ作成して、各株式IDの最新の取引時間を返すようにします。
  • フィールドタイプ: 出力フィールド
  • 名前: agg_maxtime
  • タイプ= string
  • 精度: 10
次の式を設定します:
max(agg_tradetime)
ジョイナトランスフォーメーション
ジョイナトランスフォーメーションでは、次の結合条件を使用して通常の結合を設定します。
  • agg_stock_id = STOCK_ID
  • agg_maxtime = TRADETIME
ターゲットトランスフォーメーション
以下の表に、ターゲットフォーメーションで設定するためのプロパティを示します。
プロパティ
設定
受信フィールド
次のフィールドルールを設定します。
  • すべてのフィールドを含めます。
  • プレフィックス「agg_」が付いた
    [テキストまたはパターンごとのフィールド]
    を除外します。
含まれるフィールドのリストには、すべてのソースフィールドが表示されます: PRICE、STOCK_ID、TRADETIME、VOLUME
ターゲットフィールド
次のターゲットフィールドを追加します: STOCK_IDおよびPRICE
フィールドマッピング
[正確なフィールド名]
を使用して自動マッピングを実行します。これにより、受信フィールドSTOCK_IDおよびPRICEがターゲットフィールドSTOCK_IDおよびPRICEにマッピングされます。

ターゲットデータ

次の表は、マッピングによりターゲットファイルに書き込まれるデータを示しています。
STOCK_ID
PRICE
100
0.99
101
4.56
102
2.35
103
3.40
104
3.40
105
3.40
フィールドはアグリゲータトランスフォーメーションでSTOCK_IDに基づいてグループ化されるため、各株式IDは最新の価格とともに1つの行にリストされます。例えば、株式105の最近の取引価格は3.40ドルです。