InformaticaのAIエンジンであるCLAIREは、

マッピング

タスクを数回実行し、機械学習を使用して各実行のパフォーマンスを評価します。CLAIREはこの情報を使用して、タスクのパフォーマンスを最適化する一連のSparkプロパティに対するチューニングの推奨事項を作成します。CLAIREチューニングでは、マッピングの複雑性、データのサイズ、

詳細クラスタ

の処理容量などのパラメータが考慮されます。

初期チューニングを実行するか、継続的なチューニングを有効にすることができます。初期チューニングを実行する場合、チューニングの推奨事項を表示して、推奨されるSparkプロパティおよびその値のリストを確認できます。推奨事項を適用して、

マッピング

タスクでその値を使用できます。継続的なチューニングを有効にすると、CLAIREは

マッピング

タスクをサイレントで監視し、Sparkプロパティを長期間継続して調整します。

最初に初期チューニングを実行すると、継続的なチューニングがさらに効果的になります。初期チューニング中に、CLAIREは最適化された一連のSparkプロパティを取得します。これは、継続的なチューニング中に追加の調整を行うためのベースラインとして使用できます。

ファイルを増分ロードする

マッピング

タスクで初期チューニングを実行する場合。チューニングはすべてのソースファイルで実行されます。推奨されるプロパティおよび値は、変更されたファイルのみをロードして処理する将来のジョブには最適ではない可能性があります。