在生产环境中安全验证模型

借 SageMaker助，您可以使用变体在同一端点后面测试多个模型或模型版本。变体由 ML 实例和 SageMaker 模型中指定的服务组件组成。一个端点后面可以有多个变体。每个变体可以具有不同的实例类型，也可以具有可以独立于其他变体自动扩展的 SageMaker 模型。可以使用不同的数据集、不同的算法、不同的 ML 框架或所有这些的任意组合来训练变体中的模型。端点背后的所有变体都共享相同的推理代码。 SageMaker 支持两种类型的变体：生产变体和影子变体。

如果您在终端节点后面有多个生产变体，则可以将推理请求的一部分分配给每个变体。每个请求仅路由到其中一个生产变体。请求所路由到的生产变体向调用者提供响应。您可以比较生产变体的相对表现。

您还可以在端点后面使用与生产变体相对应的影子变体。向生产变体发送的推理请求的一部分被复制到影子变体。系统会记录影子变体的响应以供比较，不会返回给调用者。这使您可以测试 shadow 变体的性能，而无需让调用者看到影子变体产生的响应。