示例：使用 Application Signals 排查与 Amazon Bedrock 模型交互的生成式人工智能应用程序问题 - Amazon CloudWatch
精细指标和跟踪OpenTelemetry GenAI 属性支持
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

示例：使用 Application Signals 排查与 Amazon Bedrock 模型交互的生成式人工智能应用程序问题

您可以使用 Application Signals 排查与 Amazon Bedrock 模型交互的生成式人工智能应用程序问题。Application Signals 提供了开箱即用的遥测数据来简化这一过程，从而可以更深入了解应用程序与 LLM 模型的交互。该功能有助于解决关键应用场景，例如：

  • 模型配置问题

  • 模型使用成本

  • 模型延迟

  • 模型响应生成停止的原因

使用 LLM/GenAI 可观测性启用 Application Signals，可实时查看应用程序与 Amazon Bedrock 服务的交互。Application Signals 会自动生成并关联 Amazon Bedrock API 调用的性能指标和跟踪。

Application Signals 目前支持 Amazon Bedrock 的以下 LLM 模型。

  • AI21 Jamba

  • Amazon Titan

  • Anthropic Claude

  • Cohere Command

  • Meta Llama

  • Mistral AI

  • Nova

精细指标和跟踪

对于每个 Amazon Bedrock API 调用，Application Signals 都会在资源级别生成详细的性能指标，包括：

  • 模型 ID

  • 护栏 ID

  • 知识库 ID

  • Bedrock 代理 ID

此外，同一级别的关联跟踪跨度有助于提供请求执行和依赖关系的全面视图。

使用 Application Signals 的性能指标。

OpenTelemetry GenAI 属性支持

Application Signals 使用 OpenTelemetry 语义约定为 Amazon Bedrock API 调用生成以下 GenAI 属性。这些属性有助于分析模型使用情况、成本和响应质量，并能通过 Transaction Search 获得更深入的洞察。

  • gen_ai.system

  • gen_ai.request.model

  • gen_ai.request.max_tokens

  • gen_ai.request.temperature

  • gen_ai.request.top_p

  • gen_ai.usage.input_tokens

  • gen_ai.usage.output_tokens

  • gen_ai.response.finish_reasons

使用 Application Signals 的 GenAI 属性。

例如，您可以利用 Transaction Search 的分析功能，比较不同 LLM 模型中相同提示的令牌使用情况和成本，从而选择经济高效的模型。

使用 Application Signals 的 GenAI 属性。

有关更多信息，请参阅 Improve Amazon Bedrock Observability with CloudWatch Application Signals。