查看、监控和编辑影子测试 - 亚马逊 SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

查看、监控和编辑影子测试

您可以查看影子测试的状态,从仪表板监控其进度,并执行操作,例如提前开始或停止测试或删除测试。以下各节介绍了如何使用 SageMaker 控制台查看和修改影子测试。

查看影子测试

您可以在 SageMaker 控制台的影子测试页面上查看所有影子测试的状态。

要在控制台中查看您的测试,请执行以下操作:

  1. 打开 SageMaker 控制台

  2. 在导航面板中,选择 Typurat ions(推理)。

  3. 选择影子测试可查看列出所有影子测试的页面。该页面应类似于以下屏幕截图,所有测试都列在 “影子测试” 部分下。

    
                        所有影子测试的清单。

通过检查测试的状态字段,可以在控制台的 “影子测试” 页面上查看测试的状态

以下是测试的可能状态:

  • Creating— SageMaker 正在创建您的测试。

  • Created— SageMaker 已完成测试的创建,测试将在预定时间开始。

  • Updating— 当您对测试进行更改时,您的测试显示为正在更新。

  • Starting— SageMaker 正在开始测试。

  • Running— 您的测试正在进行中。

  • Stopping— SageMaker 正在停止您的测试。

  • Completed— 您的测试已完成。

  • Cancelled— 当你提前结束测试时,它会显示为已取消。

监控影子测试

您可以查看影子测试的详细信息,并在阴影测试进行期间或完成后对其进行监控。 SageMaker 提供了一个实时仪表板,比较了生产和影子变体的模型延迟和汇总错误率等运营指标。

要在控制台中查看单个测试的详细信息,请执行以下操作:

  1. 从 “影子测试” 页面的 “影子测试” 部分中选择要监控的测试

  2. 从 “操作” 下拉列表中,选择 “查看”。将出现一个概述页面,其中包含测试的详细信息和指标控制面板。

概述页面包含以下三个部分。

摘要

本节总结了测试的进度和状态。它还显示了从 “指标” 子部分的 “选择指标” 下拉列表中选择指标的摘要统计信息。以下屏幕截图显示了此节的内容。


                            概述页面的摘要部分。

在前面的屏幕截图中,“设置” 和 “详细信息” 选项卡显示了您选择的设置以及您在创建测试时输入的详细信息。

分析

本节介绍了指标控制面板,其中包含以下指标的单独图表:

  • Invocations

  • InvocationsPerInstance

  • ModelLatency

  • Invocation4XXErrors

  • Invocation5XXErrors

  • InvocationModelErrors

  • CPUUtilization

  • MemoryUtilization

  • DiskUtilization

最后三个指标监控模型容器运行时资源使用情况。其余的都是 CloudWatch可用于分析变体的性能的指标,可用于分析变体的性能。通常,错误越少表示模型更稳定。较低的延迟表示更快的模型或更快的基础架构。有关 CloudWatch 指标的更多信息,请参阅SageMaker 端点调用指标。以下屏幕截图显示了指标控制面板。


                            指标分析仪表板。
环境

本部分显示了您在测试中比较的变体。如果您对影子变体的性能感到满意,则可以根据上述指标将影子变体升级到生产环境,方法是选择 Deploy shadow 变体。有关部署影子变体的更多详细信息,请参阅提升 Candoster。您还可以通过选择编辑流量来更改流量采样百分比并继续测试。有关编辑阴影变体的更多详细信息,请参阅编辑影子测试。以下屏幕截图显示了此节的内容。


                            概述页面的环境部分。

尽早开始影子测试

您可以在预定开始时间之前开始测试。如果新的测试持续时间超过 30 天,则 SageMaker 自动将测试的结束时间设置为新开始时间之后的 30 天。此操作将立即开始测试。如果要更改测试的开始或结束时间,请参阅编辑影子测试

要在预定开始时间之前立即开始测试,请通过控制台执行以下操作:

  1. 从 “影子测试” 页面上的 “影子测试” 部分中选择要立即开始的测试

  2. 从 “操作” 下拉列表中,选择 “开始”。开始影子测试? 此时显示对话框。

  3. 选择 “立即开始”。

尽早完成影子测试

可以在计划持续时间结束之前完成正在进行的测试。有关更多信息,请参阅 尽早完成影子测试

删除影子测试

您可以删除不再需要的测试。删除测试只会删除测试元数据,而不会删除在 Amazon S3 中捕获的终端节点、变体或数据。如果您希望终端节点停止运行,则必须删除终端节点。有关删除端点的更多信息,请参阅删除终端节点和资源

要通过控制台删除测试,请执行以下操作:

  1. 从影子测试页面的影子测试部分中选择要删除的测试

  2. 从 “操作” 下拉列表中,选择 “删除”。将出现 “删除影子测试” 对话框。

  3. 确认删除中,在字段中,typmph t pmptions(要确认 文本框中,输入delete

  4. 选择 Delete(删除)。

编辑影子测试

您可以修改预定和正在进行的测试。在测试开始之前,您可以更改测试的描述、影子变体配置、开始日期和结束日期。您也可以打开或关闭数据采集。

测试开始后,您只能更改影子变体的描述、流量采样百分比和结束日期。

要通过控制台编辑测试的详细信息,请执行以下操作:

  1. 从 “影子测试” 页面的 “影子测试” 部分中选择要编辑的测试

  2. 从 “操作” 下拉列表中,选择 “编辑”。将出现 “输入影子测试详细信息” 页面。

  3. (可选)在描述下,输入测试的描述。

  4. 选择 Next(下一步)。将出现 “输入影子测试设置” 页面。

  5. (可选)要编辑您的影子变体,请执行以下操作:

    1. 选择阴影变体,然后选择 “编辑”。将出现 “编辑阴影变体” 对话框。如果您的测试已经开始,则只能更改流量采样百分比。

    2. (可选)在 “名称” 下,输入新名称以替换旧名称。

    3. (可选)在流量样本下,输入新的流量采样百分比以替换旧的流量采样百分比。

    4. (可选)在实例类型下,从下拉列表中选择新的实例类型。

    5. (可选)在实例计数下,输入新的实例数以替换旧的实例数。

    6. 选择 Apply(应用)。

    您无法使用上述步骤更改影子变体中的模型。如果要更改模型,请先通过选择阴影变体并选择 “移除” 来移除阴影变体。然后添加一个新的影子变体。

  6. (可选)要编辑测试持续时间,请执行以下操作:

    1. 选中 “时间表” 部分的 “持续时间” 下的复选框。随后会显示一个弹出日历。

    2. 如果您的测试尚未开始,则可以更改开始和结束日期。从日历中选择新的开始日期和结束日期,或者分别在开始日期和结束日期下输入新的开始结束日期

      如果您的测试已经开始,则只能更改结束日期。在 “结束日期” 下输入新的结束日期

    3. (可选)如果您的测试尚未开始,则可以更改开始和结束时间。以 24 小时格式分别在 “开始时间” 和 “结束时间” 下输入新的开始时间和结束时间。

      如果您的测试已经开始,则只能更改结束时间。在 “结束时间” 下以 24 小时格式输入新的结束时间

    4. 选择 Apply(应用)。

  7. (可选)开启或关闭 “启用数据采集”。

  8. 选择 “更新影子测试”。