本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
最佳实践
在创建推理实验时,请牢记以下信息:
-
流量采样百分比 – 对 100% 的推理请求进行采样,可以验证影子变体在推广后是否能处理生产流量。开始时,您可以使用较低的流量采样百分比,当您对自己的变体有信心时再调高,但最好的做法是确保在推广前将流量提高到 100%。
-
实例类型 – 除非您使用影子变体来评估备用实例类型或大小,否则我们建议您使用相同的实例类型、大小和数量,这样您就可以确定影子变体在推广后可以处理大量的推理请求。
-
自动扩缩 – 为确保您的影子变体能够应对推理请求数量的激增或推理请求模式的变化,我们强烈建议您在影子变体上配置自动扩缩。要了解如何配置自动扩缩,请参阅自动缩放 Amazon SageMaker 人工智能模型。如果已经配置了自动扩缩,还可以验证对自动扩缩策略的更改,而不会对用户造成影响。
-
指标监控 – 启动影子实验并有足够的调用次数后,监控指标控制面板,确保延迟和错误率等指标在可接受的范围内。这有助于您及早发现配置错误并采取纠正措施。有关如何监控正在进行的推理实验指标的信息,请参阅如何查看、监控和编辑影子测试。