本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
自动模型评估
您可以在 Studio 中创建自动模型评估,也可以在自己的代码中使用该fmeval
库。Studio 使用向导来创建模型评估作业。该fmeval
库提供了进一步自定义工作流程的工具。
这两种类型的自动模型评估作业都支持使用公开可用的 JumpStart JumpStart 模型以及您之前部署到端点的模型。如果您使用 JumpStart 的是以前未部署的,则 SageMaker 将负责创建必要的资源,并在模型评估任务完成后将其关闭。
要使用LLMs来自其他 Amazon 服务的文本或外部托管的模型 Amazon,必须使用该fmeval
库。
任务完成后,结果将保存在任务创建时指定的 Amazon S3 存储桶中。要了解如何解释您的结果,请参阅了解模型评估工作的结果。