Hadoop監視

Hadoopは，オープン ソースのソフトウェア フレームワークです。ビッグ データの分散ストレージと分散処理むけにデザインされています。Hadoopの主要アーキテクチャは、ストレージ部分と処理部分でできています。Hadoopはファイルを大きなブロックに分け，クラスター内ノードに分散させます。Hadoopは複数ノードにタスクを渡して並列処理を実行、データのローカル性を活かして高速かつ効率的に動作します（データはノードで集中処理され、やりとり遅延がありません）。Applications ManagerのHadoop監視では、Hadoop 1.xとHadoop 2.xの双方をサポート。Hadoop分散クラスターのステータス維持や、可用性の確保、タスクの高速・精密実行に役立ちます。

Hadoop監視を作成するには、次の手順に従ってください。

  1. 新規監視をクリックし、サービスからHadoopを選択します。
  2. 監視の表示名を入力してください。
  3. 監視のモードを選択します。

REST APIモードの場合：

  1. 監視するHadoopのバージョンを指定します。
  2. NameNodeのホストを指定します。
  3. NameNodeのWebポートを指定します。
  4. YesかNoで、SSLは有効か選択ください。
  5. 認証タイプを選択します。シンプル認証を選択する場合、ユーザー名を指定してください。
  6. リソース マネージャー ホストの名前を指定します。
  7. リソース マネージャーのWebポートを指定します。
  8. もう1度、YesかNoで、SSLは有効か選択ください。
  9. もう1度、認証タイプを選択します。シンプル認証を選択する場合、ユーザー名を指定してください。
  10. ポーリング間隔を指定します。
  11. コンボボックスで、監視を関連付ける監視グループを選択します（任意項目）。監視は複数グループに関連付け可能です。
  12. 監視の追加をクリックします。これによって、ネットワークから監視を検出し、監視を始めます。

JMXモードの場合：

  1. 監視するHadoopのバージョンを指定します。
  2. NameNodeのホストを指定します。
  3. NameNodeのJMXポートを指定します。
  4. ユーザー名とパスワードを入力してください。
  5. NameNodeのJNDIパスを入力してください。
  6. リソース マネージャー ホストの名前を指定します。
  7. リソース マネージャーJMXポートを指定します。
  8. ユーザー名を入力し、パスワードをセットします。
  9. リソース マネージャーのJNDIパスをセットします。
  10. ポーリング間隔をセットします。
  11. コンボボックスで、監視を関連付ける監視グループを選択します（任意項目）。監視は複数グループに関連付け可能です。
  12. 監視の追加をクリックします。これによって、ネットワークから監視を検出し、監視を始めます。

Hadoopサーバー：監視対象のパラメーター

監視タブをクリックして、監視カテゴリ ビューへ移動してください。サービス テーブルでHadoopを選ぶと、Hadoop一括設定ビューが3つのタブに分類・表示されます。

  • 可用性タブでは、過去24時間か30日の可用性履歴がわかります。
  • パフォーマンス タブでは、過去24時間か30日のステータスとイベントがわかります。
  • リスト ビューでは、一括管理設定が可能です。

管理名をクリックすると、全サーバーの詳細が、以下のタブに表示されます。

Hadoopバージョン1.xHadoopバージョン2.x

Hadoop 1.x

概要

セーフ モード

セーフ モード ステータス

セーフ モード ステータス

ステータスには次のものがあります。

-Operational

-Safemode
DFS
総DFS容量（GB） HDFSの総容量です。
非DFS利用済みスペース（GB） DFSコマンドを使わず利用されているHDFSメモリを指します。
DFS利用済みスペース（GB） DFSコマンドで利用されているHDFSメモリを指します。
利用済みDFS（％） HDFSメモリの利用率を示します（％）。
DFS空きスペース（GB） HDFSの空きメモリです。
DFS空き（％） HDFSの空きメモリ比率を表します（％）。
ブロック
ブロック容量 Hadoopの総ブロック容量です。
総ブロック Hadoopにあるブロックの総数です。
欠落ブロック Hadoopに欠落ブロックがいくつあるかを表します。
破損ブロック Hadoopに破損ブロックがいくつあるかを表します。
過剰ブロック Hadoopに過剰ブロックがいくつあるかを表します。
複製不足のブロック Hadoopに複製不足のブロックがいくつあるかを表します。
削除保留ブロック Hadoopに削除保留ブロックがいくつあるかを表します。
複製保留ブロック Hadoopに複製保留ブロックがいくつあるかを表します。
ファイル
総ファイルとディレクトリ HDFSにあるファイルとディレクトリの総数を示します。
ファイル/ディレクトリ作成（/秒） ファイルやディレクトリの作成ペースを指します（数/秒）。
負荷
総負荷 Hadoopサービスへの総負荷を示します。

HDFS

NameNode JVM
コミット済み非ヒープ メモリ 現在、利用してよいものとコミットされている総非ヒープ メモリを示します。
利用済み非ヒープ メモリ Currently used非ヒープ メモリ. 
コミット済みヒープ メモリ 現在、利用してよいものとコミットされている総ヒープ メモリを示します。
利用済みヒープ メモリ 利用中のヒープ メモリを指します。
NameNode OS
総物理メモリ（GB） NameNodeの総RAMです。
空き物理メモリ（GB） NameNodeの空きRAMです。
総スワップ スペース（GB） NameNode OSで利用できるスワップ総容量を表します。
空きスワップ スペース（GB） NameNode OSで利用できる空きスワップ スペースを表します。
最大ファイル デスクリプター数 総ファイル デスクリプター容量
オープンファイル デスクリプター数 ステータスがオープンのファイル デスクリプターの数です。
平均システム負荷 NameNode OSでの平均負荷を表します。
DataNode
ノード名 DataNodeの名前です。
ステータス NameNodeの現在のステータスを指します。
  • ライブ
  • デッド
  • 廃棄済み（Decommissioned）
利用済みスペース（GB） HDFSで利用中のスペースを指します。

MapReduce

トラッカーサマリ
総TaskTracker TaskTrackerの総数です。
アライブTasktracker ステータスがアライブのTaskTrackerの数を示します。
ブラック リスト入りTaskTracker ブラック リストにあるTaskTrackerの数を示します。
グレイリスト入りTaskTracker グレイリストにあるTaskTrackerの数を示します。
ジョブ総数 MapReduceで実行したジョブの総数です。
スロット サマリ
総mapスロット MapReduceでの総mapスロット容量を表します。
利用済みmapスロット 利用中のmapスロットの数を示します。
総reduceスロット MapReduceでの総reduceスロット容量を表します。
利用済みreduceスロット 利用中のreduceスロットの数を示します。
TaskTracker
TaskTracker名 タスクtrackerの名前です。
ステータス TaskTrackerの現在のステータスです。
  • アライブ（Alive）
  • ブラック リスト入り（Blacklisted）
  • グレイリスト入り（Graylisted）
  • デッド（Dead）
正常性 TaskTrackerの現在の正常性です。
  • OK
  • エラー メッセージ
失敗数 TaskTrackerでの失敗の数を表します。
キュー
キュー名 キューの名前です。
ステータス キューの現在のステータスです。
情報 キューからのあらゆるエラー情報です。

ジョブ

ジョブ サマリ

送信済みジョブ ステータス「submitted」のジョブの数を表します。
準備中ジョブ ステータス「preparing」のジョブの数を表します。
実行中ジョブ ステータス「running」のジョブの数を表します。
失敗ジョブ ステータス「failed」のジョブの数を表します。
強制終了ジョブ ステータス「killed」のジョブの数を表します。
完了ジョブ ステータス「completed」のジョブの数を表します。
完了率（％） 完了したジョブの比率を表します（％）。
強制終了率（％） 強制終了したジョブの比率を表します（％）。
失敗率（％） 失敗したジョブの比率を表します（％）。
ジョブ統計（最新ポーリング間隔）
送信済みジョブ数 ポーリング間隔に送信されたジョブの数を表します。
失敗ジョブ数 ポーリング間隔に失敗ジョブの数を表します。
強制終了ジョブ数 ポーリング間隔に強制終了されたジョブの数を表します。
完了ジョブ数 ポーリング間隔に完了したジョブの数を表します。

Hadoop 2.x

概要

セーフ モード

セーフ モード ステータス

セーフ モード ステータス

ステータスには次のものがあります。

-Operational

-Safemode
DFS
総DFS容量（GB） HDFSの総容量です。
非DFS利用済みスペース（GB） DFSコマンドを使わず利用されているHDFSメモリを指します。
DFS利用済みスペース（GB） DFSコマンドで利用されているHDFSメモリを指します。
利用中のDFSを指します（％）。 HDFSメモリの利用率を示します（％）。
DFS空きスペース（GB） HDFSの空きメモリです。
DFS空き（％） HDFSの空きメモリ比率を表します（％）。
ブロック
ブロック容量 Hadoopの総ブロック容量です。
総ブロック Hadoopにあるブロックの総数です。
欠落ブロック Hadoopに欠落ブロックがいくつあるかを表します。
破損ブロック Hadoopに破損ブロックがいくつあるかを表します。
過剰ブロック Hadoopに過剰ブロックがいくつあるかを表します。
複製不足のブロック Hadoopに複製不足のブロックがいくつあるかを表します。
削除保留ブロック Hadoopに削除保留ブロックがいくつあるかを表します。
複製保留ブロック Hadoopに複製保留ブロックがいくつあるかを表します。
ファイル
総ファイルとディレクトリ HDFSにあるファイルとディレクトリの総数です。
ファイル/ディレクトリ作成（/秒） ファイルやディレクトリの作成速度を示します（数/秒）。
負荷
総負荷 Hadoopサービスへの総負荷を示します。

HDFS

DataNodeサマリ
ライブDataNode ステータス「live」のDataNodeの数を示します。
デッドDataNode ステータス「dead」のDataNodeの数を示します。
ライブ廃棄済みDataNode DataNodeのうち、ライブでありながら廃棄されている（decomissioned）ものの数を示します。
デッド廃棄済みDataNode DataNodeのうち、デッドであり、かつ、廃棄されている（decomissioned）ものの数を示します。
廃棄DataNode ステータス「decomissioned」のDataNodeの数です。
古いDataNode ステータス「stale」のDataNodeの数を示します。
ライブDataNode率（％） ステータス「live」のDataNode比率を表します（％）。
デッドDataNode率（％） ステータス「dead」のDataNode比率を表します（％）。
DataNode
ノード名 DataNodeの名前です。
ステータス DataNodeの現在のステータスを表します。
  • ライブ
  • 廃棄進行中（Decommission In Progress）
  • ライブかつ廃棄済み
  • デッドかつ廃棄済み
  • デッド
総容量（GB） HDFSの総容量です。
利用済み非DFS（GB） 非HDFSコマンドで利用されたHDFSメモリの量を指します。
利用済みDFS（GB） HDFSコマンドで利用されたHDFSメモリの量を指します。
DFS利用率（％） HDFSコマンドで利用されたHDFSメモリ比率を表します（％）。
DFS空き（GB） HDFSにある空きメモリの量を示します。
DFS空き比率（GB） HDFSにある空きメモリの比率を表します（％）。

YARN

NodeMangerサマリ
アクティブNodeManager ステータス「active」のNodeManagerの数を示します。
廃棄済みNodeManager ステータス「decommissioned」のNodeManagerの数を示します。
喪失NodeManager ステータス「lost」のNodeManagerの数を示します。
異常NodeManager ステータス「unhealthy」のNodeManagerの数を示します。
リブート済みNodeManager ステータス「rebooted」のNodeManagerの数を示します。
アクティブNodeManager率（％） ステータス「active」のNodeManagerの比率を表します（％）。
喪失NodeManager率（％） ステータス「lost」のNodeManagerの比率を表します（％）。
異常NodeManager率（％） ステータス「unhealthy」のNodeManagerの比率を表します（％）。
NodeManager
ホスト名 NodeManagerのホスト名です。
ラック NodeManagerのあるラックを指します。
ステータス

NodeManagerの現在のステータスです。

  • 実行中（Running）
  • 異常（Unhealthy）
  • デッド（Dead）
利用済みメモリ（％） NodeManagerが利用しているメイン メモリの比率を表します（％）。
バージョン NodeManagerのバージョンを指します。

アプリケーション

アプリケーション
送信済みアプリケーション ステータス「submitted」のアプリケーションの数です。
完了アプリケーション ステータス「completed」のアプリケーションの数です。
保留中アプリケーション ステータス「pending」のアプリケーションの数です。
実行中アプリケーション ステータス「running」のアプリケーションの数です。
失敗アプリケーション ステータス「failed」のアプリケーションの数です。
強制終了アプリケーション ステータス「killed」のアプリケーションの数です。
完了率（％） 完了アプリケーションの比率を表します（％）。
強制終了率（％） 強制終了アプリケーションの比率を表します（％）。
失敗率（％） 失敗アプリケーションの比率を表します（％）。
アプリケーション統計（最新ポーリング間隔）
送信済みアプリケーション数 ポーリング間隔に送信されたアプリケーションの数を表します。
失敗アプリケーション数 ポーリング間隔に失敗したアプリケーションの数を表します。
強制終了アプリケーション数 ポーリング間隔に強制終了アプリケーションの数を表します。
完了アプリケーション数 ポーリング間隔に完了したアプリケーションの数を表します。