跟踪工作人员性能 - Amazon SageMaker
启用追踪检查日志使用日志指标
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

跟踪工作人员性能

Amazon G SageMaker round Truth 将工作人员事件记录到亚马逊 CloudWatch，例如工作人员何时启动或提交任务。使用 Amazon CloudWatch 指标来衡量和跟踪整个团队或单个员工的吞吐量。

重要

工作人员事件跟踪不适用于 Amazon Augmented AI 人工审核工作流。

启用追踪

在新工作团队的设置过程中，会创建 Amazon CloudWatch 记录工作人员事件的权限。由于该功能是在 2019 年 8 月添加的，在此之前创建的工作团队可能没有正确的权限。如果您的所有工作团队都是在 2019 年 8 月之前创建的，请创建一个新的工作团队。它不需要任何成员，可以在创建后删除，但通过创建它，将建立权限并将权限应用于您的所有工作团队，无论这些团队何时创建都是如此。

检查日志

启用跟踪后，将记录工作人员的活动。打开 Amazon CloudWatch 控制台，然后在导航窗格中选择日志。你应该会看到一个名为 /aws/sagemaker/groundtruth/ WorkerActivity 的日志组。

每个完成的任务将由一个日志条目表示，其中包含有关工作人员、他们的团队、作业、接受任务的时间以及任务提交时间的信息。

例 日志条目
{
  "worker_id": "cd449a289e129409",
  "cognito_user_pool_id": "us-east-2_IpicJXXXX",
  "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd",
  "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019",
  "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019",
  "task_returned_time": "",
  "task_declined_time": "",
  "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team",
  "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo",
  "work_requester_account_id": "############",
  "job_reference_code": "############",
  "job_type": "Private",
  "event_type": "TasksSubmitted",
  "event_timestamp": "1565798464"
}

每个事件中有用的数据点是 cognito_sub_id。您可以将其与单个工作人员匹配。

  1. 打开亚马逊 SageMaker 控制台，网址为 https://console.aws.amazon.com/sagemaker/。

  2. 在 Ground Truth 部分下，选择人力。

  3. 选择私有。

  4. 选择私有团队部分中的团队名称。

  5. 在团队摘要部分中，选择 Amazon Cognito 用户组下标识的用户组。这会将您带到 Amazon Cognito 控制台中的该组。

  6. 组页面列出了组中的用户。选择用户名列中任何用户的链接以查看有关该用户的更多信息，包括唯一的子 ID。

要获取有关团队所有成员的信息，请使用 Amazon Cognito API 中的ListUsers操作（示例）。

使用日志指标

如果您不想自己编写脚本来处理和可视化原始日志信息，Amazon CloudWatch 指标可为您提供员工活动的见解。

查看指标

  1. 打开 CloudWatch 控制台，网址为 https://console.aws.amazon.com/cloudwatch/。

  2. 在导航窗格中，选择指标。

  3. 选择 AWS/SageMaker/Workteam 名称空间，然后探索可用指标。例如，选择工作团队和人力指标后，可以计算出特定标注作业的每个已提交任务的平均时间。

有关更多信息，请参阅使用 Amazon CloudWatch 指标。