目次

Search

  1. はじめに
  2. トランスフォーメーション
  3. ソーストランスフォーメーション
  4. ターゲットトランスフォーメーション
  5. アクセスポリシートランスフォーメーション
  6. B2B Data Transformation
  7. アグリゲータトランスフォーメーション
  8. クレンジングトランスフォーメーション
  9. データマスキングトランスフォーメーション
  10. データサービストランスフォーメーション
  11. 重複排除トランスフォーメーション
  12. 式トランスフォーメーション
  13. フィルタトランスフォーメーション
  14. 階層ビルダートランスフォーメーション
  15. 階層パーサートランスフォーメーション
  16. 階層プロセッサトランスフォーメーション
  17. 入力トランスフォーメーション
  18. Javaトランスフォーメーション
  19. JavaトランスフォーメーションAPIリファレンス
  20. ジョイナトランスフォーメーション
  21. ラベラトランスフォーメーション
  22. ルックアップトランスフォーメーション
  23. 機械学習トランスフォーメーション
  24. マップレットトランスフォーメーション
  25. ノーマライザトランスフォーメーション
  26. 出力トランスフォーメーション
  27. 解析トランスフォーメーション
  28. Pythonトランスフォーメーション
  29. ランクトランスフォーメーション
  30. ルータトランスフォーメーション
  31. ルール仕様トランスフォーメーション
  32. シーケンスジェネレータトランスフォーメーション
  33. ソータートランスフォーメーション
  34. SQLトランスフォーメーション
  35. 構造パーサートランスフォーメーション
  36. トランザクション制御トランスフォーメーション
  37. 共有体トランスフォーメーション
  38. Velocityトランスフォーメーション
  39. ベリファイヤトランスフォーメーション
  40. Webサービストランスフォーメーション

トランスフォーメーション

トランスフォーメーション

パーティション

パーティション

組織にパーティション化のライセンスがある場合、パーティションを使用して
マッピング
タスクのパフォーマンスを最適化できます。
マッピング
タスクで大規模なデータセットが処理される場合、または、複雑な計算を実行するトランスフォーメーションが含まれる場合は、タスクの処理に時間がかかる場合があります。複数のパーティションを使用すると、
マッピング
タスクはデータを複数のパーティションに分割し、それらのパーティションを同時に処理します。これにより、パフォーマンスを最適化できます。すべてのソースタイプがパーティション化をサポートしているわけではありません。
Mapping Designerでソーストランスフォーメーションを設定する際に、パーティション化を有効にします。ソーストランスフォーメーションにパーティションを設定すると、マッピング全体でパーティション化されます。
マッピング内のすべてのデータフローにわたるそれぞれのソーストランスフォーメーションには、同じ数のパーティションが含まれている必要があります。
ソースのパーティション化を有効にするには、
[パーティション化]
タブでパーティション化方法を選択します。選択できるパーティション化方法は、ソースタイプによって異なります。さまざまなタイプのソースのパーティション化の詳細については、目的のコネクタのヘルプを参照してください。
ソースタイプに応じて、次のいずれかのパーティション化方法を選択できます。
なし
マッピング
タスクが、単一のパーティションですべてのデータを処理します。これがデフォルトのオプションです。
固定
マッピング
タスクが、指定したパーティション数に基づいてデータの行を分散します。最大で64のパーティションを指定できます。
この方法は、フラットファイルソースなどの、キー範囲によるパーティション化ができないソースタイプや、キー範囲のパーティション化をサポートしないトランスフォーメーションがマッピングに含まれる場合に使用します。
マッピングで渡されるレコードの数を考慮して、マッピングに適したパーティションの数を決定してください。レコードが少ない場合、パーティション化による利点はあまりありません。
マッピングに複数のソースが含まれる場合は、ソースごとに同じ数のパーティションを指定します。
キーの範囲
マッピング
タスクが、パーティションキーとして定義したフィールドに基づいてデータの行を分散します。ソース内の1つのフィールドをパーティションキーとして選択してから、パーティションキーの値の範囲を定義します。
この方法は、表形式のソースに使用できます(リレーショナル、Google BigQuery、およびJDBC V2のソースなど)。
キー範囲には、次のデータ型を使用できます。
  • 文字列。
  • すべての数値データ型。ただし、キー範囲の値には少数は使用できません。
  • 日付/時刻タイプ。
    MM/DD/YYYY HH24:MI:SS
    の形式を使用します。
マッピングに複数のソースが含まれる場合は、ソースごとに同じ数のキー範囲を使用します。
パススルー
マッピング
タスクが、パーティション間で行を再分散せずにデータを処理します。単一のパーティション内のすべての行が、そのパーティション内に留まります。パフォーマンスを向上させるために新しいパーティションを作成して、パーティション間のデータの分散を変更しない場合に、パススルーパーティション化を選択します。
この方法は、Amazon S3、Netezza、およびTeradataなどのソースに使用できます。
動的
マッピング
タスクが、ソースサイズに基づいて、実行時に作成するパーティションの最適な数を決定します。
次のような状況では、マッピングをパーティション化できません。
  • パラメータ化されたソースまたはソースクエリがマッピングで使用されている。
  • マッピングにWebサービスまたは階層パーサートランスフォーメーションが含まれる。
  • マッピングにカスタムリレーションまたは詳細リレーションを使用する複数のソースが含まれる。
  • マッピングがSQL ELTモードのマッピングである。
パーティションを設定したら、Mapping Designerでマッピングを保存および実行して、パーティション設定を検証してください。