创建影子测试

您可以创建影子测试，将影子变体的性能与生产变体的性能进行比较。您可以在提供推理请求的现有终端节点上运行测试，也可以创建一个新的端点来运行测试。

要创建影子测试，您需要指定以下各项：

一种生产变体，可接收并响应 100% 的传入推理请求。
一种影子变体，它接收一定百分比的传入请求，这些请求是从生产变体复制的，但不返回任何响应。

对于每个变体，您可以使用 SageMaker 来控制模型、实例类型和实例数量。您可以配置要复制到影子变体的传入请求的百分比，即流量采样百分比。 SageMaker 管理对影子变体的请求的复制，您可以在计划或运行测试时修改流量采样百分比。您也可以选择启用 Data Capture 来记录您的生产和影子变体的请求和响应。

注意

SageMaker 每个端点最多支持一个影子变体。对于带有影子变体的端点，最多可以有一个生产变体。

您可以将测试安排为随时开始并在指定的持续时间内继续。默认持续时间为 7 天，最大持续时间为 30 天。测试完成后，端点恢复到开始测试之前的状态。这样可以确保您不必在测试完成后手动清理资源。

您可以通过 SageMaker 控制台中的仪表板监控正在运行的测试。仪表板提供生产变体和影子变体之间的调用指标和实例指标的并排比较，以及包含相关指标统计信息的表格视图。此仪表板也可用于已完成的测试。查看指标后，您可以选择将影子变体提升为新的生产变体，也可以选择保留现有的生产变体。推广影子变体后，它会响应所有传入的请求。有关更多信息，请参阅提升 Candoster：

以下过程介绍了如何通过 SageMaker 控制台创建影子测试。工作流程会有所不同，具体取决于您是要使用现有端点还是要为影子测试创建新的端点。

先决条件

在使用 SageMaker 控制台创建影子测试之前，必须准备好 SageMaker 模型以供使用。有关如何创建 SageMaker 模型的更多信息，请参阅创建模型。

您可以开始使用具有生产变体和影子变体的现有端点、仅包含生产变体的现有终端节点或仅使用您想要比较的 SageMaker 模型进行影子测试。影子测试支持在测试开始之前创建端点和添加变体。

输入影子测试的详细信息

要开始创建影子测试，请按以下步骤填写 “输入影子测试详细信息” 页面：

打开 SageMaker 控制台。
在左侧导航面板中，选择 Delence（推理），然后再选择 Dhadow test（阴影测试
选择 “创建影子测试”。
在 N ame（名称）下，输入测试的名称。
（可选）在 Des c ription（描述）下，输入测试的描述。
（可选）使用键和值对指定标签。
选择 Next（下一步）。

输入影子测试设置

填写 “输入影子测试详细信息” 页面后，填写 “输入影子测试设置” 页面。如果您已经有 SageMaker 推理终端节点和生产变体，请遵循使用现有端点工作流程。如果您目前没有终端节点，请按照创建新终端节点工作流程操作。

Use an existing endpoint

如果您想使用现有终端节点进行测试，请按照以下步骤填写 “输入影子测试设置” 页面：

选择附有 IAmazonSageMakerFullAccess AM 策略的角色。
选择使用现有终端节点，然后选择一个可用端点。
（可选）要加密终端节点上的存储量，请选择现有的 KMS 密钥或从加密密钥下的下拉列表中选择 “输入 KMS 密钥 ARN”。如果您选择第二个选项，则会出现一个用于输入 KMS 密钥 ARN 的字段。在该字段中输入 KMS 密钥 ARN。
如果您在该端点后面有多个生产变体，请删除不想用于测试的变体。您可以通过选择模型变体然后选择 “移除” 来移除该变体。
如果您还没有阴影变体，请添加阴影变体。要添加影子变体，请执行以下操作：
1. 选择 Add（添加）。
2. 选择暗影变体。
3. 在添加模型对话框中，选择您要用于阴影变体的模型。
4. 选择 Save（保存）。
（可选）在前面的步骤中，使用默认设置添加了影子变体。要修改这些设置，请选择阴影变体并选择编辑。将出现 “编辑阴影变体” 对话框。有关填写该对话框的更多信息，请参阅编辑影子测试。
在时间表部分中，通过执行以下操作输入测试的持续时间：
1. 选中 “持续时间” 下的复选框。随后会显示一个弹出日历。
2. 从日历中选择开始和结束日期，或者分别在 “开始日期” 和 “结束日期” 字段中输入开始和结束日期。
3. （可选）对于开始时间和结束时间字段，分别以 24 小时格式输入开始和结束时间。
4. 选择 Apply（应用）。
最短持续时间为 1 小时，最长持续时间为 30 天。
（可选）开启启用数据捕获以将推理请求和响应信息从您的终端节点保存到 Amazon S3 存储桶，然后输入 Amazon S3 存储桶的位置。
选择 “创建影子测试”。

Create a new endpoint

如果您没有现有终端节点，或者想要为测试创建新的终端节点，请按以下步骤填写 “输入影子测试设置” 页面：

选择附有 IAmazonSageMakerFullAccess AM 策略的角色。
选择创建新终端节点。
在 N ame（名称）下，输入终端的名称。
向端点添加一个生产变体和一个影子变体：
- 要添加生产变体，请选择 “添加”，然后选择 “生产变体”。在添加模型对话框中，选择您要用于生产变体的模型，然后再选择 Save (保存)。
- 要添加阴影变体，请选择 “添加”，然后选择 “暗影变体”。在添加模型对话框中，选择您要用于阴影变体的模型，然后再选择 Save (保存)。
（可选）在前面的步骤中，使用默认设置添加了影子变体。要修改这些设置，请选择阴影变体并选择编辑。将出现 “编辑阴影变体” 对话框。有关填写该对话框的更多信息，请参阅编辑影子测试。
在时间表部分中，通过执行以下操作输入测试的持续时间：
1. 选中 “持续时间” 下的复选框。随后会显示一个弹出日历。
2. 从日历中选择开始和结束日期，或者分别在开始日期和结束日期下输入开始和结束日期。
3. （可选）在 “开始时间” 和 “结束时间” 下，分别以 24 小时格式输入开始和结束时间。
4. 选择 Apply（应用）。
最短持续时间为 1 小时，最长持续时间为 30 天。
（可选）开启启用数据捕获以将推理请求和响应信息从您的终端节点保存到 Amazon S3 存储桶，然后输入 Amazon S3 存储桶的位置。
选择 “创建影子测试”。

完成上述步骤后，您现在应该安排在指定的开始日期和时间开始测试。您可以从仪表板查看测试进度。有关如何查看测试和您可以采取的操作的更多信息，请参阅查看、监控和编辑影子测试。

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

阴影测试

查看、监控和编辑影子测试