跟踪工作人员性能 - Amazon SageMaker
启用追踪检查日志使用日志指标
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 AWS 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

跟踪工作人员性能

Amazon SageMaker Ground Truth 将工作人员事件记录到 Amazon CloudWatch，例如当工作人员启动或提交任务时。使用 Amazon CloudWatch 指标来衡量和跟踪团队或单个工作人员的吞吐量。

重要

工作人员事件跟踪不适用于 Amazon Augmented AI 人工审核工作流程。

启用追踪

在新工作团队的设置过程中，将创建 Amazon CloudWatch 用于记录工作人员事件的权限。由于此功能是在 2019 年 8 月添加的，因此在 之前创建的工作团队可能没有正确的权限。如果您的所有工作团队都是在 2019 年 8 月之前创建的，请创建一个新的工作团队。它不需要任何成员，可以在创建后删除，但通过创建它，您可以建立权限并将其应用于所有工作团队，无论它们何时创建都是如此。

检查日志

启用跟踪后，将记录工作人员的活动。打开 Amazon CloudWatch 控制台，并在导航窗格中选择 Logs (日志)。您应看到一个名为 /aws/sagemaker/groundtruth/WorkerActivity 的日志组。

每个完成的任务将由一个日志条目表示，其中包含有关工作人员、他们的团队、作业、接受任务的时间以及任务提交时间的信息。

例 日志条目

{
  "worker_id": "cd449a289e129409",
  "cognito_user_pool_id": "us-east-2_IpicJXXXX",
  "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd",
  "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019",
  "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019",
  "task_returned_time": "",
  "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team",
  "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo",
  "work_requester_account_id": "############",
  "job_reference_code": "############",
  "job_type": "Private",
  "event_type": "TasksSubmitted",
  "event_timestamp": "1565798464"
}

每个事件中有用的数据点是 cognito_sub_id。您可以将其与单个工作人员匹配。

  1. 通过以下网址打开 Amazon SageMaker 控制台：https://console.amazonaws.cn/sagemaker/。

  2. 在 Ground Truth 部分下，选择 Workforces (人力)。

  3. 选择 Private (私有)。

  4. 选择 Private teams (私有团队) 部分中的团队名称。

  5. 在 Team summary （团队摘要） 部分中，选择在 user group （用户组） 下标识的Amazon Cognito用户组。这会将您带到 Amazon Cognito 控制台中的该组。

  6. Group (组) 页面列出了组中的用户。选择 Username (用户名) 列中任何用户的链接以查看有关该用户的更多信息，包括唯一的 sub (子) ID。

要获取有关所有团队成员的信息，请使用 API 中的 ListUsers 操作Amazon Cognito（示例）。

使用日志指标

如果您不想编写自己的脚本来处理和可视化原始日志信息，则 Amazon CloudWatch 指标会为您提供有关工作人员活动的见解。

查看指标

  1. 通过以下网址打开 CloudWatch 控制台：https://console.amazonaws.cn/cloudwatch/。

  2. 在导航窗格中，选择 Metrics。

  3. 选择 AWS/SageMaker/Workteam (AWS/SageMaker/工作团队) 名称空间，然后探究可用的指标。例如，通过选择 Workflow, Workteam (工作流程，工作团队) 指标，可以计算特定标记作业的每个提交任务的平均时间。

有关更多信息，请参阅使用 Amazon CloudWatch 指标。