使用 CloudWatch Eviently 进行 A/B 测试

使用 Amazon Personalize 和 CloudWatch Eviently 进行 A/B 测试

1. 创建一个 CloudWatch 显而易见的项目。项目是 CloudWatch 资源的逻辑分组。在项目中，您可以创建具有要测试或启动的变体的功能。有关 step-by-step说明，请参阅 Amazon CloudWatch 用户指南中的创建新项目。

2. 向您的项目添加特征并定义其变体。在本实验中，您的特征应代表您要测试的建议场景，例如点击率。

   添加特征时，指定标识符，将场景的不同变体映射到 Amazon Personalize 推荐器或自定义市场活动。对于每个变体，指定变体类型，例如字符串，为变体命名，并为其指定一个值。

   当您的实验运行时，您的应用程序会使用变体的值来确定将哪个 Amazon Personalize 资源用于建议。例如，如果您要测试两个 VIDEO _ON_ DEMAND 推荐器，一个是为你的热门精选用例创建的，另一个是为 “立即趋势” 用例创建的，则可以将以下内容JSON设置为每个变体的值。

   {"type":"top-picks-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/top-picks-recommender"}

   {"type":"trending-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/trending-now-recommender"}

   您可以指定任何标识符，只要您的应用程序可以使用它来标识相关资源即可。例如，您可以仅指定推荐者或活动的名称，并在应用程序中构造资源的 Amazon 资源名称 (ARN)。

   step-by-step有关添加功能的说明，请参阅《Amazon CloudWatch 用户指南》中的向项目添加功能。

3. 更新应用程序以支持您的实验：

   • 功能评估 — 使用 “ CloudWatch 显而易见” EvaluateFeature API 操作为每个用户会话分配变体。EvaluateFeature 响应包含您在上一步中指定的变体值。在本例中，它是一个具有推荐者类型的JSON对象，也是推荐ARN者的类型。更新您的建议请求代码，从此资源获取建议。

     有关评估功能的信息，请参阅《Amazon CloudWatch 用户指南》 EvaluateFeature中的 “使用”。

   • 记录结果 - 向您的应用程序添加代码，以跟踪用户与建议交互的结果。

     要在 CloudWatch Evidently 中跟踪实验的指标，请使用 CloudWatch Evient PutProjectEvents API ly 操作记录每个用户的结果。例如，如果实验中的用户点击了推荐的项目，你会将该事件的详细信息发送给 CloudWatch Eviently。

     有关向 CloudWatch Evidently 发送事件的信息，请参阅《亚马逊 CloudWatch 用户指南》 PutProjectEvents中的 “使用”。

     为了提高 Amazon Personalize 推荐的相关性，您可以使用 Amazon Personalize PutEvents API 操作记录结果事件。如果您的域使用案例或自定义食谱支持对建议进行实时更新，则 Amazon Personalize 可以从您用户的最新活动中学习，并在他们使用您的应用程序时更新建议。如果它不支持更新，则 Amazon Personalize 会在模型的下一次全面再训练期间使用这些数据，然后它会影响建议。

     有关将事件流式传输到 Amazon Personalize 的信息，请参阅记录实时事件以影响推荐。

4. 创建并开始实验。创建实验时，指定以下内容：

   • 特征 - 选择要在实验中测试的特征。

   • 受众 - 配置将有多少用户参与，并配置如何在特征变体之间分配流量。

   • 指标 - 指定决定实验成功的指标。例如，单击次数。

   创建完实验后，指定实验持续时间并开始实验。有关在 CloudWatch Evident ly 中创建和开始实验的 step-by-step说明，请参阅 Amazon CloudWatch 用户指南中的创建实验。

5. 运行实验时，您可以在 CloudWatch Eviently 实验仪表板中查看结果。有关查看实验结果的信息，请参阅 Amazon CloudWatch 用户指南中的在控制面板中查看实验结果。