目次

Search

  1. はじめに
  2. パイプラインのパーティション化について
  3. パーティションポイント
  4. パーティションタイプ
  5. プッシュダウンの最適化
  6. プッシュダウンの最適化およびトランスフォーメーション
  7. リアルタイム処理
  8. コミットポイント
  9. 行エラーのロギング
  10. ワークフローリカバリ
  11. 停止と強制終了
  12. コンカレントワークフロー
  13. グリッド処理
  14. ロードバランサ
  15. ワークフロー変数
  16. セッションのパラメータおよび変数
  17. パラメータファイル
  18. FastExport
  19. 外部データのロード
  20. FTP
  21. セッションのキャッシュ
  22. 差分集計
  23. セッションログインタフェース
  24. バッファメモリについて
  25. 高精度データ

詳細ワークフローガイド

詳細ワークフローガイド

パイプラインでのパーティションタイプの設定

パイプラインでのパーティションタイプの設定

パイプライン上の様々なポイントに、様々なパーティションタイプを作成できます。
以下の図に、セッションのパフォーマンスを向上させるために異なったパーティションタイプを作成できるマッピングを示します。
このマッピングには、Items(フラットファイル)、SQ_Items、FIL_ActiveItems、SRT_ItemsDescSort、AGG_AvgCostAndPrice、T_ITEM_PRICES(Oracle)の各要素が含まれています。
このマッピングでは、品目に関するデータが読み出され、卸売原価と価格の平均値が算出されます。このマッピングではサイズの異なる3つのフラットファイルから品目情報を読み込み、製造中止品目をフィルタで除外する必要があります。説明を使ってアクティブな品目をソートし、平均価格と平均卸売原価を算出して、結果をリレーショナルデータベースに書き込みます。
ソータトランスフォーメーションにおける自動ハッシュキーパーティション化により、同じ説明を持つ品目を含む行がすべて同じパーティションに送られるため、アグリゲータトランスフォーメーションにあるデフォルトのパーティションポイントを削除できます。したがって、アグリゲータトランスフォーメーションでは1つのパーティションで同じ説明を持つすべての品目に関するデータが受信され、この品目の平均原価と平均価格が正しく算出されます。
セッションでこのマッピングを使用する場合、パイプライン上の以下のようなパーティションポイントで異なるパーティションタイプを定義することで、セッションのパフォーマンスを向上させることができます。
  • ソース修飾子。
    3つのフラットファイルから同時にデータを読み込むには、ソース修飾子に対して3つのパーティションを指定する必要があります。 デフォルトのパーティションタイプであるパススルーパーティション化を受け入れます。
  • フィルタトランスフォーメーション。
    ソースファイルのサイズが変化するため、各パーティションで処理するデータの量が異なります。フィルタトランスフォーメーションに1つのパーティションポイントを設定し、フィルタトランスフォーメーションに送られる負荷を分散するために、ラウンドロビンパーティション化を選択します。
  • ソータトランスフォーメーション。
    ソータトランスフォーメーションとアグリゲータトランスフォーメーションで重複するグループを無くすために、ソータトランスフォーメーションでハッシュ自動キーパーティション化を使用します。これにより、Integration Serviceはソータトランスフォーメーションとアグリゲータトランスフォーメーションで行が処理される前に、同じ説明を持つすべての項目が同じパーティションにグループ化されます。アグリゲータトランスフォーメーションにあるデフォルトのパーティションポイントは削除できます。
  • ターゲット。
    ターゲットテーブルはキー範囲によりパーティション化されるため、ターゲットにキー範囲パーティション化を指定してターゲットへのデータの書き込みを最適化します。