本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
查看、监控和编辑影子测试
您可以查看影子测试的状态,从仪表板监控其进度,并执行操作,例如提前开始或停止测试或删除测试。以下各节介绍了如何使用 SageMaker 控制台查看和修改影子测试。
查看影子测试
您可以在 SageMaker 控制台的影子测试页面上查看所有影子测试的状态。
要在控制台中查看您的测试,请执行以下操作:
-
打开 SageMaker 控制台
。 -
在导航面板中,选择 Typurat ions(推理)。
-
选择影子测试可查看列出所有影子测试的页面。该页面应类似于以下屏幕截图,所有测试都列在 “影子测试” 部分下。
通过检查测试的状态字段,可以在控制台的 “影子测试” 页面上查看测试的状态。
以下是测试的可能状态:
-
Creating
— SageMaker 正在创建您的测试。 -
Created
— SageMaker 已完成测试的创建,测试将在预定时间开始。 -
Updating
— 当您对测试进行更改时,您的测试显示为正在更新。 -
Starting
— SageMaker 正在开始测试。 -
Running
— 您的测试正在进行中。 -
Stopping
— SageMaker 正在停止您的测试。 -
Completed
— 您的测试已完成。 -
Cancelled
— 当你提前结束测试时,它会显示为已取消。
监控影子测试
您可以查看影子测试的详细信息,并在阴影测试进行期间或完成后对其进行监控。 SageMaker 提供了一个实时仪表板,比较了生产和影子变体的模型延迟和汇总错误率等运营指标。
要在控制台中查看单个测试的详细信息,请执行以下操作:
-
从 “影子测试” 页面的 “影子测试” 部分中选择要监控的测试。
-
从 “操作” 下拉列表中,选择 “查看”。将出现一个概述页面,其中包含测试的详细信息和指标控制面板。
概述页面包含以下三个部分。
- 摘要
-
本节总结了测试的进度和状态。它还显示了从 “指标” 子部分的 “选择指标” 下拉列表中选择的指标的摘要统计信息。以下屏幕截图显示了此节的内容。
在前面的屏幕截图中,“设置” 和 “详细信息” 选项卡显示了您选择的设置以及您在创建测试时输入的详细信息。
- 分析
-
本节介绍了指标控制面板,其中包含以下指标的单独图表:
Invocations
InvocationsPerInstance
ModelLatency
Invocation4XXErrors
Invocation5XXErrors
InvocationModelErrors
CPUUtilization
MemoryUtilization
DiskUtilization
最后三个指标监控模型容器运行时资源使用情况。其余的都是 CloudWatch可用于分析变体的性能的指标,可用于分析变体的性能。通常,错误越少表示模型更稳定。较低的延迟表示更快的模型或更快的基础架构。有关 CloudWatch 指标的更多信息,请参阅SageMaker 端点调用指标。以下屏幕截图显示了指标控制面板。
- 环境
-
本部分显示了您在测试中比较的变体。如果您对影子变体的性能感到满意,则可以根据上述指标将影子变体升级到生产环境,方法是选择 Deploy shadow 变体。有关部署影子变体的更多详细信息,请参阅提升 Candoster。您还可以通过选择编辑流量来更改流量采样百分比并继续测试。有关编辑阴影变体的更多详细信息,请参阅编辑影子测试。以下屏幕截图显示了此节的内容。
尽早开始影子测试
您可以在预定开始时间之前开始测试。如果新的测试持续时间超过 30 天,则 SageMaker 自动将测试的结束时间设置为新开始时间之后的 30 天。此操作将立即开始测试。如果要更改测试的开始或结束时间,请参阅编辑影子测试。
要在预定开始时间之前立即开始测试,请通过控制台执行以下操作:
-
从 “影子测试” 页面上的 “影子测试” 部分中选择要立即开始的测试。
-
从 “操作” 下拉列表中,选择 “开始”。开始影子测试? 此时显示对话框。
-
选择 “立即开始”。
尽早完成影子测试
可以在计划持续时间结束之前完成正在进行的测试。有关更多信息,请参阅 尽早完成影子测试。
删除影子测试
您可以删除不再需要的测试。删除测试只会删除测试元数据,而不会删除在 Amazon S3 中捕获的终端节点、变体或数据。如果您希望终端节点停止运行,则必须删除终端节点。有关删除端点的更多信息,请参阅删除终端节点和资源
要通过控制台删除测试,请执行以下操作:
-
从影子测试页面的影子测试部分中选择要删除的测试。
-
从 “操作” 下拉列表中,选择 “删除”。将出现 “删除影子测试” 对话框。
-
在确认删除中,在字段中,typmph t pmptions(要确认 文本框中,输入
delete
。 -
选择 Delete(删除)。
编辑影子测试
您可以修改预定和正在进行的测试。在测试开始之前,您可以更改测试的描述、影子变体配置、开始日期和结束日期。您也可以打开或关闭数据采集。
测试开始后,您只能更改影子变体的描述、流量采样百分比和结束日期。
要通过控制台编辑测试的详细信息,请执行以下操作:
-
从 “影子测试” 页面的 “影子测试” 部分中选择要编辑的测试。
-
从 “操作” 下拉列表中,选择 “编辑”。将出现 “输入影子测试详细信息” 页面。
-
(可选)在描述下,输入测试的描述。
-
选择 Next(下一步)。将出现 “输入影子测试设置” 页面。
-
(可选)要编辑您的影子变体,请执行以下操作:
-
选择阴影变体,然后选择 “编辑”。将出现 “编辑阴影变体” 对话框。如果您的测试已经开始,则只能更改流量采样百分比。
-
(可选)在 “名称” 下,输入新名称以替换旧名称。
-
(可选)在流量样本下,输入新的流量采样百分比以替换旧的流量采样百分比。
-
(可选)在实例类型下,从下拉列表中选择新的实例类型。
-
(可选)在实例计数下,输入新的实例数以替换旧的实例数。
-
选择 Apply(应用)。
您无法使用上述步骤更改影子变体中的模型。如果要更改模型,请先通过选择阴影变体并选择 “移除” 来移除阴影变体。然后添加一个新的影子变体。
-
-
(可选)要编辑测试持续时间,请执行以下操作:
-
选中 “时间表” 部分的 “持续时间” 下的复选框。随后会显示一个弹出日历。
-
如果您的测试尚未开始,则可以更改开始和结束日期。从日历中选择新的开始日期和结束日期,或者分别在开始日期和结束日期下输入新的开始和结束日期。
如果您的测试已经开始,则只能更改结束日期。在 “结束日期” 下输入新的结束日期。
-
(可选)如果您的测试尚未开始,则可以更改开始和结束时间。以 24 小时格式分别在 “开始时间” 和 “结束时间” 下输入新的开始时间和结束时间。
如果您的测试已经开始,则只能更改结束时间。在 “结束时间” 下以 24 小时格式输入新的结束时间。
-
选择 Apply(应用)。
-
-
(可选)开启或关闭 “启用数据采集”。
-
选择 “更新影子测试”。