可用性の高いHadoopクラスタで読み取りと書き込みを行うように、データ統合サービスとDeveloper toolを設定できます。可用性の高いHadoopクラスタを設定する手順は、Hadoopディストリビューションの種類によって異なります。Hadoopディストリビューションに対応した設定手順の詳細については、

Data Engineering Integrationガイド

を参照してください。

一時的なステージングテーブルでのデータ圧縮を有効にして、マッピングのパフォーマンスを向上させることができます。

可用性の高いBlazeエンジンで、マッピングを実行します。Blazeエンジンでは、デフォルトで、グリッドタスクとタスクレットの再開とリカバリが有効です。

マッピングでソータトランスフォーメーションを使用すると、データ統合サービスは、Hadoopクラスタにマッピングロジックをプッシュするときに、デフォルトで並列ソートを有効にします。並列ソートを行うと、マッピングパフォーマンスが向上します。

Blazeエンジンのマッピングでジョイナトランスフォーメーションを使用する場合、データ統合サービスは、マップ側の結合の最適化を適用して、マッピングパフォーマンスを改善できます。データ統合サービスは、マスタテーブルが詳細テーブルよりも小さい場合に、マップ側の結合の最適化を適用します。データ統合サービスは、マップ側の結合の最適化を適用するときに、データのシャッフルを行わずにデータをジョイナトランスフォーメーションに移動します。

Hiveターゲットのパーティションを切り詰めて、パフォーマンスを向上させることができます。Hiveターゲットのパーティションを切り詰めるには、Hiveターゲットのパーティションの切り詰めとターゲットテーブルの切り詰めの両方を選択する必要があります。

スケジューラを使用して、Hadoopクラスタにリソースを割り当てることができます。組織のニーズに応じて、キャパシティスケジューラまたはフェアスケジューラを使用できます。

Hadoopクラスタ上のジョブを特定のキューにリダイレクトするように、YARNキューを設定できます。ジョブの割り当て先となったキューが、ジョブの実行に割り当てられるリソースを定義します。

Hadoopクラスタのノードにラベルを付けて、特定の特徴を持つパーティションのクラスタを分割できます。

データ統合サービスは、Sparkエンジンで実行されるSqoopパススルーマッピングのパフォーマンスを最適化できます。

Data Engineering Recoveryを有効にして、データ統合サービスがSparkエンジンにプッシュして処理するマッピングジョブをリカバリできます。