阴影测试 - 亚马逊 SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

阴影测试

借助 Amazon, SageMaker 您可以通过将模型服务基础设施的性能与当前部署的基础设施进行比较,来评估模型服务基础设施的任何变化。这种做法被称为影子测试。影子测试可以帮助你在潜在的配置错误和性能问题影响最终用户之前catch 它们。有了 SageMaker它,您无需投资构建影子测试基础架构,因此您可以专注于模型开发。

您可以使用此功能来验证对生产变体任何组件(即模型、容器或实例)的更改,而不会对最终用户产生任何影响。它在包括但不限于以下情况下很有用:

  • 您正在考虑将已通过离线验证的新模型推广到生产环境,但是在做出此决定之前,您希望评估延迟和错误率等运营性能指标。

  • 您正在考虑更改服务基础设施容器,例如修补漏洞或升级到新版本,并希望在升级到生产之前评估这些更改的影响。

  • 您正在考虑更改 ML 实例,并想评估新实例在处理实时推理请求时的表现。

该 SageMaker 控制台为管理影子测试工作流程提供了指导性体验。您可以在预定义的时间段内设置影子测试,通过实时仪表板监控测试进度,完成后进行清理,然后根据结果采取行动。选择要测试的生产变体,然后在影子模式下 SageMaker自动部署新变体,并在同一端点内将推理请求的副本实时路由到该变体。只有生产变体的响应才会返回给调用应用程序。您可以选择丢弃或记录影子变体的响应以进行离线比较。有关生产变体和影子变体的更多信息,请参阅在生产环境中安全验证模型

有关创建影子测试的说明,请参见创建影子测试