跟踪工作人员性能 - Amazon SageMaker
启用追踪检查日志使用日志指标
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 Amazon Web Services 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

跟踪工作人员性能

Amazon SageMaker Ground Truth 将工作人员事件记录到 Amazon CloudWatch，例如当工作人员启动或提交任务时。使用 Amazon CloudWatch 指标来衡量和跟踪团队或单个工作人员的吞吐量。

重要

工作人员事件跟踪不适用于 Amazon Advanced Augmented AI 人工审核工作流程。

启用追踪

在新工作团队的设置过程中，将创建 Amazon CloudWatch 工作人员事件记录的 Amazon CloudWatch 事件的权限。由于此功能是在 2019 年 8 月添加的，因此之前创建的工作团队可能没有正确的权限。如果您的所有工作团队都是在 2019 年 8 月之前创建的，请创建一个新的工作团队。它不需要任何成员，可以在创建后删除，但通过创建它，您可以建立权限并将权限应用于您的所有工作团队，无论这些团队何时创建都是如此。

检查日志

启用跟踪后，将记录工作人员的活动。打开 Amazon CloudWatch 控制台，然后选择。日志在导航窗格中。您应看到一个名为 /aws/sagemaker/groundtruth/WorkerActivity 的日志组。

每个完成的任务将由一个日志条目表示，其中包含有关工作人员、他们的团队、作业、接受任务的时间以及任务提交时间的信息。

例 日志条目
{
  "worker_id": "cd449a289e129409",
  "cognito_user_pool_id": "us-east-2_IpicJXXXX",
  "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd",
  "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019",
  "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019",
  "task_returned_time": "",
  "task_declined_time": "",
  "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team",
  "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo",
  "work_requester_account_id": "############",
  "job_reference_code": "############",
  "job_type": "Private",
  "event_type": "TasksSubmitted",
  "event_timestamp": "1565798464"
}

每个事件中有用的数据点是 cognito_sub_id。您可以将其与单个工作人员匹配。

  1. 打开位于 https://console.aws.amazon.com/sagemaker/ 的 Amazon SageMaker 控制台。

  2. 在Ground Truth部分，选择人力.

  3. 选择 Private (私有)。

  4. 选择 Private teams (私有团队) 部分中的团队名称。

  5. 在 Team summary (团队摘要) 部分中，选择 Amazon Cognito user group (Amazon Cognito 用户组)下标识的用户组。这会将您带到 Amazon Cognito 控制台中的该组。

  6. Group (组) 页面列出了组中的用户。选择 Username (用户名) 列中任何用户的链接以查看有关该用户的更多信息，包括唯一的 sub (子) ID。

要获取有关团队的所有成员的信息，请使用ListUsers行动 (例子) 在 Amazon Cognito API 中。

使用日志指标

如果您不想编写自己的脚本来处理和可视化原始日志信息，则 Amazon CloudWatch 指标会为您提供有关工作人员活动的见解。

查看指标

  1. 访问 https://console.aws.amazon.com/cloudwatch/ 打开 CloudWatch 控制台。

  2. 在导航窗格中，选择 Metrics（指标）。

  3. 选择AWS/SageMaker/Workteam命名空间，然后探索指标. 例如，选择工作团队和人力使用指标，可以计算特定标记作业的每个提交任务的平均时间。

有关更多信息，请参阅使用 Amazon CloudWatch 指标。