目次

Search

  1. はじめに
  2. Informatica Big Data Managementの概要
  3. マッピング
  4. ソース
  5. ターゲット
  6. トランスフォーメーション
  7. クラスタワークフロー
  8. プロファイル
  9. 監視
  10. 階層データ処理
  11. 階層データ処理設定
  12. スキーマが変更された階層データの処理
  13. インテリジェント構造モデル
  14. ステートフルコンピューティング
  15. 接続
  16. データ型リファレンス
  17. 関数リファレンス

ユーザーガイド

ユーザーガイド

Blaze監視のトラブルシューティング

Blaze監視のトラブルシューティング

Blazeエンジンでマッピングを実行してグリッドタスクログを表示しようとすると、Blazeジョブ監視が完全なログを取得しない。
グリッドタスクログが大きすぎる可能性があります。Blazeジョブ監視が取得できるのは、集計後のログで最大で2 MBまでです。ログの最初の行にこの情報がレポートされており、HDFS上の完全なログの場所が示されています。HDFSへのリンクをたどって、グリッドマッピングの集計後のログを検索します。完全なログへのリンクにはグリッドタスク番号が含まれます。
Blazeジョブ監視が開始されない。
Hadoop環境のログを確認して、問題を特定します。問題が見つからない場合は、infacmd stopBlazeServiceコマンドを使用してグリッドマネージャを停止し、マッピングを再度実行します。
監視URLがAdministratorツールの[プロパティ]ビューに表示されない。
YARNログでURLを特定します。
Blazeプロセスが予期せず停止した場合に、Blazeが予定された場所にログを保存しない。
Blazeが予期せずに停止した場合は、YARNモニタを通じてBlazeサービスログにアクセスできます。次の方法のいずれかを使用します。
  • グリッドマネージャのログには、すべてのBlazeジョブコンテナIDが含まれており、Blazeが実行されたホストを識別できます。グリッドマネージャのログURLを、BlazeホストのコンテナIDとホスト名を使用して変更します。
  • コマンド
    yarn logs -applicationID <BlazeグリッドマネージャアプリケーションID>
    を実行します。
数日間実行されていたBlazeジョブ監視が、Hortonworksクラスタのアプリケーションタイムラインサーバーへの接続を失った。
Blazeエンジンは、クラスタ上で実行中のアプリケーションタイムラインサーバーを必要とします。Blazeエンジンがマッピングの実行を開始すると、Blazeジョブ監視はアプリケーションタイムラインサーバーの状態を確認します。アプリケーションタイムラインサーバーが実行されていない場合は、グリッドマネージャがそれを開始します。アプリケーションタイムラインサーバーへの接続が失われると、Blazeエンジンは再接続を試行します。アプリケーションタイムラインサーバーがBlazeマッピングの実行中に停止した場合は、グリッドマネージャを再起動することでタイムラインサーバーを再起動できます。
アプリケーションタイムラインサーバーがクラスタで実行されるようにデフォルトで設定されていない場合、クラスタ管理者はタイムラインサーバーをクラスタで手動で再起動する必要があります。
マッピングの実行に24時間より長い時間がかかる場合に、マッピングが失敗する。
マッピングがBlazeエンジンで24時間より長く実行されると、一部のマッピングが失敗することがあります。これは、オーケストレータサービスのデフォルトサンセット時間が24時間であるためです。24時間が経過すると、オーケストレータはシャットダウンし、その結果Blazeグリッドマネージャもシャットダウンされます。
サンセット時間を24時間よりも長くするには、Hadoop接続の詳細プロパティで次のプロパティを設定します。
infagrid.orchestrator.svc.sunset.time=[HOURS]
プロパティを0(ゼロ)またはマイナスの値に設定して、サンセットを無効にすることもできます。サンセットを無効化すると、Blazeグリッドマネージャはシャットダウンしません。