查看、监控和编辑影子测试 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

查看、监控和编辑影子测试

您可以查看影子测试的状态,通过控制面板监控其进度,并执行操作,如提前启动或停止测试或删除测试。以下各节将介绍如何使用 SageMaker 控制台查看和修改影子测试。

查看影子测试

您可以在 SageMaker 控制台的影子测试页面上查看所有影子测试的状态。

要在控制台中查看您的测试,请执行以下操作:

  1. 打开 SageMaker 控制台

  2. 在导航面板中,选择推理

  3. 选择影子测试,查看列出所有影子测试的页面。该页面应类似于以下屏幕截图,所有测试都列在影子测试部分下。

    
                        所有影子测试的列表。

在控制台中的影子测试页面上,通过检查测试的状态字段,可以查看测试的状态。

以下是测试的可能状态:

  • Creating – SageMaker 正在创建您的测试。

  • Created – SageMaker 已完成创建测试,测试将在预定时间开始。

  • Updating – 当您对测试进行更改时,测试会显示为正在更新。

  • Starting – SageMaker 正在开始您的测试。

  • Running – 您的测试正在进行中。

  • Stopping – SageMaker 正在停止您的测试。

  • Completed – 您的测试已完成。

  • Cancelled – 如果您提前结束测试,则测试显示为已取消。

监控影子测试

您可以查看影子测试的详细信息,并在测试进行中或完成后对其进行监控。SageMaker 提供一个实时控制面板,比较生产变体和影子变体的运行指标,如模型延迟和汇总错误率。

要在控制台中查看单个测试的详细信息,请执行以下操作:

  1. 影子测试页面上的影子测试部分选择要监控的测试。

  2. 操作下拉列表中,选择查看。此时将出现一个概述页面,其中包含测试的详细信息和指标控制面板。

概述页面包含以下三个部分。

摘要

此部分总结了测试的进度和状态。此部分还显示了从指标子部分的选择指标下拉列表中选择的指标的汇总统计信息。以下屏幕截图显示了此部分。


                            概述页面的摘要部分。

在上面的屏幕截图中,设置详细信息选项卡显示了您选择的设置以及您在创建测试时输入的详细信息。

分析

此部分显示了指标控制面板,其中包含以下指标的独立图表:

  • Invocations

  • InvocationsPerInstance

  • ModelLatency

  • Invocation4XXErrors

  • Invocation5XXErrors

  • InvocationModelErrors

  • CPUUtilization

  • MemoryUtilization

  • DiskUtilization

最后三个指标监控模型容器运行时的资源使用情况。其余的是 CloudWatch 指标,您可以使用这些指标来分析变体的性能。一般来说,误差越小,说明模型越稳定。延迟越低,说明模型或基础设施的速度越快。有关 CloudWatch 指标的更多信息,请参阅SageMaker 端点调用指标。以下屏幕截图显示了指标控制面板。


                            指标分析控制面板。
环境

此部分显示了您在测试中比较的变体。根据上述指标,如果您对影子变体的性能感到满意,则可以通过选择部署影子变体,将影子变体推向生产环境。有关部署影子变体的更多详细信息,请参阅推广影子变体。您也可以通过选择编辑流量来更改流量采样百分比并继续测试。有关编辑影子变体的更多详细信息,请参阅编辑影子测试。以下屏幕截图显示了此部分。


                            概述页面的环境部分。

尽早开始影子测试

您可以在预定开始时间之前开始测试。如果新的测试持续时间超过 30 天,SageMaker 会自动将测试结束时间设置为新开始时间后的 30 天。此操作将立即开始测试。如果要更改测试的开始或结束时间,请参阅编辑影子测试

要在预定开始时间之前通过控制台立即开始测试,请执行以下操作:

  1. 影子测试页面上的影子测试部分选择要立即开始的测试。

  2. 操作下拉列表中,选择开始开始影子测试?对话框随即显示。

  3. 选择立即开始

尽早完成影子测试

您可以在预定持续时间结束前完成正在进行的测试。有关更多信息,请参阅尽早完成影子测试

删除影子测试

您可以删除不再需要的测试。删除测试只会删除测试元数据,而不会删除端点、变体或 Amazon S3 中捕获的数据。如果想让端点停止运行,必须删除端点。有关删除端点的更多信息,请参阅删除端点和资源

要通过控制台删除测试,请执行以下操作:

  1. 影子测试页面上的影子测试部分选择要删除的测试。

  2. 操作下拉列表中,选择删除删除影子测试对话框随即显示。

  3. 要确认删除,请在字段中键入 delete 文本框中,输入 delete

  4. 选择删除

编辑影子测试

您可以修改计划的测试和正在进行的测试。在测试开始之前,您可以更改测试的描述、影子变体配置、开始日期和结束日期。您也可以开启或关闭数据捕获。

测试开始后,您只能更改描述、影子变体的流量采样百分比和结束日期。

要通过控制台编辑测试详细信息,请执行以下操作:

  1. 影子测试页面上的影子测试部分选择要编辑的测试。

  2. 操作下拉列表中,选择编辑。此时将出现输入影子测试详细信息页面。

  3. (可选)在描述下,输入测试的描述。

  4. 选择下一步。此时将出现输入影子测试设置页面。

  5. (可选)要编辑影子变体,请执行以下操作:

    1. 选择影子变体并选择编辑。此时将出现编辑影子变体对话框。如果您的测试已经开始,则只能更改流量采样百分比。

    2. (可选)在名称下,输入新名称以替换旧名称。

    3. (可选)在流量采样下,输入新的流量采样百分比以替换旧的流量采样百分比。

    4. (可选)在实例类型下,从下拉列表中选择新的实例类型。

    5. (可选)在实例计数下,输入新的实例计数以替换旧的实例计数。

    6. 选择应用

    您无法使用上述步骤更改影子变体中的模型。如果要更改模型,首先要删除影子变体,方法是选择影子变体并选择删除。然后添加一个新的影子变体。

  6. (可选)要编辑测试持续时间,请执行以下操作:

    1. 时间表部分中,选中持续时间下的复选框。随后会显示一个弹出日历。

    2. 如果您的测试尚未开始,则可以更改开始日期和结束日期。从日历中选择新的开始和结束日期,或者分别在开始日期结束日期下输入新的开始和结束日期。

      如果您的测试已经开始,则只能更改结束日期。在结束日期下输入新的结束日期。

    3. (可选)如果您的测试尚未开始,则可以更改开始时间和结束时间。在开始时间结束时间下,分别输入 24 小时格式的新开始时间和结束时间。

      如果您的测试已经开始,则只能更改结束时间。在结束时间下输入 24 小时格式的新结束时间。

    4. 选择应用

  7. (可选)开启或关闭启用数据捕获

  8. 选择更新影子测试