目次

Search

  1. はじめに
  2. Informatica Big Data Managementの概要
  3. マッピング
  4. ソース
  5. ターゲット
  6. トランスフォーメーション
  7. クラスタワークフロー
  8. プロファイル
  9. 監視
  10. 階層データ処理
  11. 階層データ処理設定
  12. スキーマが変更された階層データの処理
  13. インテリジェント構造モデル
  14. ステートフルコンピューティング
  15. 接続
  16. データ型リファレンス
  17. 関数リファレンス

ユーザーガイド

ユーザーガイド

スケジュール、キュー、およびノードのラベル適用

スケジュール、キュー、およびノードのラベル適用

YARNスケジューラ、YARNキュー、およびノードラベルを使用して、Hadoop環境でのマッピング実行時のパフォーマンスを最適化できます。
YARNスケジューラは、組織のリソース共有ポリシーを順守しながら、Hadoopクラスタ上のYARNアプリケーションにリソースを割り当てます。フェアスケジューラまたはキャパシティスケジューラを使用するようにYARNを設定できます。フェアスケジューラは、クラスタ上で経時的に実行されているすべてのジョブにわたって、リソースを共有します。キャパシティスケジューラを使用すると、複数の組織が大規模なクラスタを共有し、容量の割り当てに基づいてリソースを分散できます。キャパシティスケジューラは、組織ごとに特定の容量を保証し、利用されていない超過分の容量がある場合はそれを分散します。
YARNキューは、YARNスケジューラの構造を編成し、複数のテナントがクラスタを共有できるようにします。各キューの容量は、キューに送信されたアプリケーションで使用できるクラスタリソースの割合を指定します。Blaze、Spark、およびSqoopのジョブを特定のYARNキューにリダイレクトできます。
ノードラベルを使用すると、YARNキューがクラスタ内の特定のノードで実行されるようにできます。ノードラベルを使用すると、特定の特徴を持つノードでジョブを実行するなど、クラスタをサブクラスタにパーティション化することができます。例えば、他のノードと比較して、データをより速く処理するノードにラベルを付けられます。ラベルが適用されていないノードは、デフォルトパーティションに所属します。ノードラベルをキャパシティスケジューラのキューに関連付けることができます。
また、Blazeエンジンを設定するためにも、ノードラベルを使用できます。Blazeエンジンを設定するためのノードラベルを使用する場合、Blazeエンジンを実行するHadoopクラスタ上でノードを指定できます。