在控制面板中查看实验结果 - Amazon CloudWatch
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

在控制面板中查看实验结果

您可以在实验进行期间和实验完成后,查看实验的统计结果。实验结果在实验开始后 63 天内可用。由于 CloudWatch 数据保留策略,在此之后实验结果将不可用。

每个变体至少有 100 个事件,才会显示统计结果。

Evidently 在实验结束时会执行额外的离线 p 值分析。在实验期间使用的任何 p 值找不到统计显著性的某些情况下,离线 p 值分析可以检测统计显著性。

有关 CloudWatch Evidently 如何计算实验结果的更多信息,请参阅 Evidently 是如何计算结果的

查看实验结果
  1. 通过以下网址打开 CloudWatch 控制台:https://console.aws.amazon.com/cloudwatch/

  2. 在导航窗格中,依次选择 Application monitoring(监控应用程序)、Evidently

  3. 请选择包含此实验的项目名称。

  4. 请选择 Experiments(实验)选项卡。

  5. 请选择实验名称,然后选择 Results(结果)选项卡。

  6. 通过 Variation performance(变体性能),您可以使用一个控件来选择要显示的实验统计数据。如果您选择多个统计数据,Evidently 会显示每个统计数据的图表和表格。

    每个图表和表格都会显示迄今为止的实验结果。

    每个图表都会显示以下结果。您可以使用图表右侧的控件来确定显示以下哪些项目:

    • 为每个变体记录的用户会话事件数。

    • 在图表顶部选择的每个变体的指标平均值。

    • 实验的统计意义。这会将图表顶部所选指标的差异与默认变体和其他每个变体进行比较。

    • 每个变体与默认变体之间所选指标的差异,存在 95% 的置信上限和下限。

    此表会显示每个变体的一行。对于每个非默认变体,Evidently 会显示其是否收到足够的数据以表明结果具有统计意义。它还会显示变体的统计值改进是否已达到 95% 的置信水平。

    最后,在 Result(结果)列中,Evidently 会根据此统计数据就哪个变体性能最佳或者结果是否不确定提出建议。