跟踪工作人员性能 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

跟踪工作人员性能

Amazon SageMaker Ground Truth 会将工作人员事件记录到 Amazon CloudWatch,如工作人员启动或提交任务时。使用 Amazon CloudWatch 指标来衡量和跟踪团队或单个工作人员的吞吐量。

重要

工作人员事件跟踪不适用于 Amazon Augmented AI 人工审核工作流。

启用追踪

在新工作团队的设置过程中,将创建 Amazon CloudWatch 用于记录工作人员事件的权限。由于该功能是在 2019 年 8 月添加的,在此之前创建的工作团队可能没有正确的权限。如果您的所有工作团队都是在 2019 年 8 月之前创建的,请创建一个新的工作团队。它不需要任何成员,可以在创建后删除,但通过创建它,将建立权限并将权限应用于您的所有工作团队,无论这些团队何时创建都是如此。

检查日志

启用跟踪后,将记录工作人员的活动。打开 Amazon CloudWatch 控制台并在导航窗格中选择日志。您应看到一个名为 /aws/sagemaker/groundtruth/WorkerActivity 的日志组。

每个完成的任务将由一个日志条目表示,其中包含有关工作人员、他们的团队、作业、接受任务的时间以及任务提交时间的信息。

例 日志条目
{ "worker_id": "cd449a289e129409", "cognito_user_pool_id": "us-east-2_IpicJXXXX", "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd", "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019", "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019", "task_returned_time": "", "task_declined_time": "", "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team", "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo", "work_requester_account_id": "############", "job_reference_code": "############", "job_type": "Private", "event_type": "TasksSubmitted", "event_timestamp": "1565798464" }

每个事件中有用的数据点是 cognito_sub_id。您可以将其与单个工作人员匹配。

  1. 通过 https://console.aws.amazon.com/sagemaker/ 打开 Amazon SageMaker 控制台。

  2. Ground Truth 部分下,选择人力

  3. 选择私有

  4. 选择私有团队部分中的团队名称。

  5. 团队摘要部分中,选择 Amazon Cognito 用户组下标识的用户组。这会将您带到 Amazon Cognito 控制台中的该组。

  6. 页面列出了组中的用户。选择用户名列中任何用户的链接以查看有关该用户的更多信息,包括唯一的 ID。

要获取团队所有成员的信息,请使用 Amazon Cognito API 中的 ListUsers 操作(示例)。

使用日志指标

如果您不想编写自己的脚本来处理和可视化原始日志信息,则 Amazon CloudWatch 指标会为您提供有关工作人员活动的见解。

查看指标
  1. 通过 https://console.aws.amazon.com/cloudwatch/ 打开 CloudWatch 控制台。

  2. 在导航窗格中,请选择指标

  3. 选择 AWS/SageMaker/Workteam 名称空间,然后探索可用指标。例如,选择工作团队人力指标后,可以计算出特定标注作业的每个已提交任务的平均时间。

有关更多信息,请参阅使用 Amazon CloudWatch 指标