Amazon Bedrockの監視
Amazon Bedrock - 概要
Amazon Bedrockは、主要なAI企業が提供する高性能な基盤モデル(FM)に単一のAPIを介してアクセスできる完全マネージド型サービスです。これにより、開発者は基盤となるインフラを管理することなく、ファインチューニング、検索拡張生成(RAG)、エージェントのオーケストレーションなどの技術を使用して、生成系AIアプリケーションを構築および拡張できます。
Amazon Bedrockの監視は、アプリケーションのパフォーマンスを維持し、コストを管理し、信頼性の高いAI推論操作を確保するために不可欠です。Applications ManagerのAmazon Bedrock監視ツールは、呼び出しレイテンシー、トークン消費量、スロットリングイベント、ログ配信ステータスなどの主要なメトリックをリアルタイムで可視化し、パフォーマンスのボトルネックを検出し、クォータ使用量を追跡し、モデル呼び出しログの正常な配信を保証します。
Amazon Bedrock監視の新規作成
Amazon Bedrock監視を新規作成する方法については、こちらをご参照ください。
監視項目
[監視]タブをクリックして、[監視カテゴリビュー]に移動します。[クラウドアプリケーション]セクションの[Amazon]配下にある[Bedrockインスタンス]をクリックします。
以下に、3つのタブに分かれたAmazon Bedrockの一括設定ビューを示します。
- [可用性]タブには、過去24時間または30日間の可用性の履歴が表示されます。
- [パフォーマンス]タブには、過去24時間または30日間の健康状態とイベントが表示されます。
- [リストビュー]タブでは、一括管理設定を実行できます。
リストから監視をクリックすると、次のタブを含むAmazon Bedrockダッシュボードに移動します。
パフォーマンス概要
| パラメーター | 説明 |
|---|---|
| エラー追跡 | |
| 呼び出しクライアントエラー | ポーリング間隔中にリクエストが無効な場合に返された4xxエラーの総数。 |
| 呼び出しサーバーエラー | ポーリング間隔中に内部サービスの問題が原因で返された5xxエラーの総数。 |
| スロットリングされた呼び出し | ポーリング間隔中にサービスクォータを超えたためにスロットリングされたリクエストの総数。 |
| 推定TPMクォータ使用量 | |
| 推定TPMクォータ使用量 | ポーリング間隔中のConverse、ConverseStream、InvokeModel、およびInvokeModelWithResponseStream API操作全体での1分あたりの推定トークン(TPM)クォータ消費量の平均。 |
| 呼び出しレイテンシー | |
| 呼び出しレイテンシー | ポーリング間隔中にモデルがリクエストに応答するまでの平均時間(ミリ秒)。 |
| 最初のトークンまでの時間 | |
| 最初のトークンまでの時間 | ポーリング間隔中にストリーミング応答の最初のチャンクが受信されるまでの平均時間(ミリ秒)。 |
| 入力トークン | |
| 入力トークン | ポーリング間隔中にモデルによって処理された入力トークンの総数。 |
| 出力トークン | |
| 出力トークン | ポーリング間隔中にモデルによって生成されたトークンの総数。 |
| 生成された画像 | |
| 生成された画像 | ポーリング間隔中に画像生成モデルによって生成された画像の総数。 |
| リクエストトラフィック | |
| 呼び出し | ポーリング間隔中のモデル呼び出しリクエストの総数。 |
ログ配信
| パラメーター | 説明 |
|---|---|
| CLOUDWATCHロギングステータス | |
| 成功したログ配信(CloudWatch Logs) | ポーリング間隔中にCloudWatch Logsへのログ配信が成功した総数。 |
| 失敗したログ配信(CloudWatch Logs) | ポーリング間隔中にCloudWatch Logsへのログ配信が失敗した総数。 |
| S3ロギングステータス | |
| 成功したログ配信(S3) | ポーリング間隔中に標準S3バケットへのログ配信が成功した総数。 |
| 失敗したログ配信(S3) | ポーリング間隔中に標準S3バケットへのログ配信が失敗した総数。 |
| 成功したログ配信(S3大容量データ) | ポーリング間隔中にS3への大容量データログの配信が成功した総数。 |
| 失敗したログ配信(S3大容量データ) | ポーリング間隔中にS3への大容量データログの配信が失敗した総数。 |