Apache Kafka監視
Apache Kafkaは、オープンソースのフォールトトレラントで、LinkedInによって開発された公開サブスクライブベースのメッセージングシステムです。分散ログサービスであるKafkaは、スループット、スケーラビリティ、信頼性、複製性が高いため、従来のメッセージブローカーの代わりに使用されることがよくあります。
Kafkaのクラスタ中心設計は、耐久性と耐故障性に優れています。Kafkaは分散システムなので、トピックは複数のノードに分割され、複製されます。 深く掘り下げていくと、技術的な詳細が驚くほど深く感じられます。意味のあるパフォーマンスモニタリングと問題の迅速なアラートにより、Kafkaはデータ統合にとって非常に魅力的なオプションになります。Applications Managerは、Kafkaの問題をトラブルシューティングする際に役立つすべてのパフォーマンスメトリクスを収集し、是正措置が必要な場合に警告します。
システムリソースの使用率の追跡
Kafkaサーバーを自動的に検出し、メモリー、CPU、ディスクの増加などのリソース使用率の詳細を追跡し、リソースが不足しないようにします。Apache Kafkaサーバーが稼動しており、期待どおりに継続的に稼働していることを確認することが可能です。急激なリソース消費や異常なパターンが発生した場合は、すぐに通知を受けとります。
アプリケーションマネージャーのトラックシステムリソース利用率スレッドとJVMの使用状況を把握
Kafkaは 仮想マシン（JVM）上で動作するため、Javaガベージコレクションプロセスに依存してメモリーを解放します。Kafkaクラスタでの活動が多いほど、ガベージコレクションが頻繁に実行されます。JVMヒープサイズを追跡し、開始されたスレッドがサーバーのメモリーを過負荷にしないようにします。デーモン、ピーク、ライブスレッド数などのメトリクスを使用してスレッドの使用状況を追跡し、システムのパフォーマンスのボトルネックを防止します。
アプリケーションマネージャはスレッドとjvmの使用法を理解するブローカー、コントローラーおよびレプリケーションの統計の理解
Kafkaクラスタでは、ブローカーの1つがコントローラーとして機能し、パーティションとレプリケーションの状態を管理し、パーティションの再割り当てなどの管理タスクを実行します。アクティブなコントローラーを監視して、問題が発生したときにどのブローカーがコントローラーであるかを確認し、オフラインパーティションをカウントしてサービスの中断を防ぎます。ブローカーのログフラッシュ待機時間の監視 - ログをディスクにフラッシュする時間が長くなればなるほど、パイプラインのバックアップが増えます。レプリケーションが不十分なパーティションを追跡して、レプリケーションが構成されている速度で行われているかどうか確認します。
カフカの複製の詳細ネットワークとトピックの詳細の監視
潜在的なボトルネックが存在する場所の詳細については、ホスト上でのネットワーク使用率の完全な把握、ネットワークスループットの追跡、ブローカートピックの送受信バイトレートの集計などがあります。メッセージのエンドツーエンド圧縮を有効にする必要があるかどうかなどの選択において、情報に基づいた決定を下すことが可能です。
カフカネットワークの詳細パフォーマンス問題野より迅速な修正
Apache Kafkaのコンポーネントにパフォーマンス上の問題がある場合は、すぐに通知を受け取れます。パフォーマンスのボトルネックを認識し、どのアプリケーションが過負荷を引き起こしているかを確認します。エンドユーザーが問題を経験する前に迅速な是正措置を実施します。