在生产中安全验证模型 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

在生产中安全验证模型

通过使用 SageMaker,您可以使用变体测试同一端点的多个模型或模型版本。变体由机器学习实例和 SageMaker 模型中指定的服务组件组成。一个端点可以有多个变体。每个变体可以有不同的实例类型,或者独立于其他变体自动扩展的 SageMaker 模型。变体中的模型可以使用不同数据集、不同算法、不同机器学习框架或者它们的任意组合进行训练。端点的所有变体都共享相同的推理代码。SageMaker 支持两种类型的变体,即生产变体和阴影变体。

如果您的端点有多个生产变体,可以给每个变体分配一部分推理请求。每个请求仅发送到其中一个生产变体。向其发送了请求的生产变体会向调用方给出响应。您可以比较各个生产变体的相对性能。

您还可以为端点的每一个生产变体设置对应的阴影变体。发送到生产变体的部分推理请求会被复制到阴影变体。阴影变体的响应会被记录下来以供比较,而不会返回给调用方。由此,可以测试阴影变体的性能,而无需让调用方看到阴影变体生成的响应。