自动模型评估 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

自动模型评估

您可以在 Studio 中创建自动模型评估,也可以在自己的代码中使用该fmeval库。Studio 使用向导来创建模型评估作业。该fmeval库提供了进一步自定义工作流程的工具。

这两种类型的自动模型评估作业都支持使用公开可用的 JumpStart JumpStart 模型以及您之前部署到端点的模型。如果您使用 JumpStart 的是以前部署的,则 SageMaker 将负责创建必要的资源,并在模型评估任务完成后将其关闭。

要使用LLMs来自其他 Amazon 服务的文本或外部托管的模型 Amazon,必须使用该fmeval库。

任务完成后,结果将保存在任务创建时指定的 Amazon S3 存储桶中。要了解如何解释您的结果,请参阅了解模型评估工作的结果