目次

Search

  1. はじめに
  2. パフォーマンスのチューニングの概要
  3. ターゲットの最適化
  4. ソースの最適化
  5. トランスフォーメーションの最適化
  6. マッピングの最適化
  7. パーティション化したマッピングの最適化
  8. 実行時の最適化
  9. SQLデータサービスの最適化
  10. Webサービスの最適化
  11. 接続の最適化

パフォーマンスのチューニングの概要

パフォーマンスのチューニングの概要

アグリゲータトランスフォーメーションの最適化

アグリゲータトランスフォーメーションの最適化

Aggregatorトランスフォーメーションではデータを処理する前にそれをグループ化しなければならないため、パフォーマンスが低下することがよくあります。Aggregatorトランスフォーメーションは、中間のグループ結果を格納するための追加メモリを必要とします。
アグリゲータトランスフォーメーションに関するボトルネックを減らすには、以下の方法を検討します。
単純なカラム別にグループ化する。
単純なカラム別のグループ化を行う際は、Aggregatorトランスフォーメーションを最適化することができます。可能な場合には、GROUP BYで使用するカラムでは、文字列や日付ではなく数値を使用します。Aggregatorの式が複雑にならないようにします。
ソート済み入力を使用する。
マッピングのパフォーマンスを向上させるには、アグリゲータトランスフォーメーションのデータをソートします。 データのソートには、Sorted Inputオプションを使用します。
Sorted Inputオプションは、集計キャッシュの使用頻度を低くします。[ソート済み入力]オプションを使用すると、データ統合サービスはすべてのデータがグループ別にソートされているものと想定します。 データ統合サービスは1つのグループに対する行を読み取るときに、読み取りながら集計計算を実行します。 必要に応じて、メモリにグループ情報を格納します。
[ソート済み入力]オプションは、マッピング中にキャッシュに格納されるデータ量を減らして、パフォーマンスを向上させます。 [ソート済み入力]オプションまたはソータトランスフォーメーションを使用して、ソート済みデータをアグリゲータトランスフォーメーションに渡します。
複数のパーティションが含まれるマッピングで[ソート済み入力]オプションを使用すると、パフォーマンスが向上します。
集計する前にデータをフィルタリングする。
マッピングでフィルタトランスフォーメーションを使用する場合、そのあとにアグリゲータトランスフォーメーションを置いて、不要な集計を減らしてください。
ポート接続数を制限する。
接続される入出力ポートまたは出力ポートの数を制限することにより、アグリゲータトランスフォーメーションがデータキャッシュに格納するデータ量を減らしてください。