评估经过训练的模型 - 亚马逊 SageMaker AI
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

评估经过训练的模型

评估配方是一个定义如何执行 Amazon Nova 模型评测任务的 YAML 配置文件。使用此配方,您可以根据常用基准或自有的自定义数据集评估基础模型或训练模型的性能。指标可以存储在 Amazon S3 中,或者 TensorBoard。评估提供定量指标来帮助您评估模型在各种任务中的性能,从而确定是否需要进一步自定义。

模型评测是一个离线过程,模型使用预定义的答案,按照固定的基准进行测试。模型不是实时评估的,也不是按照用户实时互动进行评估。要进行实时评估,您可以在模型部署到 Amazon Bedrock 之后通过调用 Amazon Bedrock 运行时对其进行评估。 APIs