在生产中安全验证模型

借 SageMaker助，您可以使用变体在同一个端点后面测试多个模型或模型版本。变体由 ML 实例和 SageMaker 模型中指定的服务组件组成。一个端点可以有多个变体。每个变体可以有不同的实例类型，或者可以独立于其他变体自动缩放的 SageMaker 模型。变体中的模型可以使用不同数据集、不同算法、不同机器学习框架或者它们的任意组合进行训练。端点背后的所有变体都共享相同的推理代码。 SageMaker 支持两种类型的变体，即生产变体和阴影变体。

如果您的端点有多个生产变体，可以给每个变体分配一部分推理请求。每个请求仅发送到其中一个生产变体。向其发送了请求的生产变体会向调用方给出响应。您可以比较各个生产变体的相对性能。

您还可以为端点的每一个生产变体设置对应的阴影变体。发送到生产变体的部分推理请求会被复制到阴影变体。阴影变体的响应会被记录下来以供比较，而不会返回给调用方。由此，可以测试阴影变体的性能，而无需让调用方看到阴影变体生成的响应。