Hiveタスクを起動するマッピングをSpark上で実行する場合、セッションログとAdministratorツールで、Sparkアプリケーションと一緒に、Hiveクエリの統計を監視のために表示できます。例えば、アップデートストラテジトランスフォーメーションに関連する情報と、Spark上のマッピングに関連付けられたSQL認証を監視できます。

Hiveタスクのサマリ統計をAdministratorツールで表示できます。Spark統計は引き続き表示されます。SparkエンジンがHiveタスクを起動すると、Hiveタスクの統計とSparkデータフレームを含む、ソースロードの要約とターゲットロードの要約を表示できます。これとは異なり、Sparkタスクのみがある場合、セッションログにはソースロードの要約とターゲットロードの要約は表示されません。

ターゲットロードの要約で、すべてのHiveインスタンスには「Hive_Target_」というプレフィックスが付加されます。同じインスタンス名は、Administratorツールにも表示されます。

Sparkエンジンが次のいずれかのシナリオで起動するHiveテーブルとの間で読み書きする際に、AdministratorツールでTezジョブ統計を表示できます。

AmazonBAKELTを表すリソースがある。
トランザクショナルHiveテーブルがある。
厳密に定義された認証を使用して保護されたテーブルカラムがある。

すべてのHiveソースおよびターゲットに関し、各秒の平均行数、バイト数、各秒の平均バイト数、拒否された行数にゼロの行を示す誤った統計情報が表示されます。処理された行のみに、正しい値が含まれており、その他のカラムに0またはN/Aが含まれることがわかります。