跟踪工作人员性能
Amazon SageMaker Ground Truth 会将工作人员事件记录到 Amazon CloudWatch,如工作人员启动或提交任务时。使用 Amazon CloudWatch 指标来衡量和跟踪团队或单个工作人员的吞吐量。
重要
工作人员事件跟踪不适用于 Amazon Augmented AI 人工审核工作流。
启用追踪
在新工作团队的设置过程中,将创建 Amazon CloudWatch 用于记录工作人员事件的权限。由于该功能是在 2019 年 8 月添加的,在此之前创建的工作团队可能没有正确的权限。如果您的所有工作团队都是在 2019 年 8 月之前创建的,请创建一个新的工作团队。它不需要任何成员,可以在创建后删除,但通过创建它,将建立权限并将权限应用于您的所有工作团队,无论这些团队何时创建都是如此。
检查日志
启用跟踪后,将记录工作人员的活动。打开 Amazon CloudWatch 控制台并在导航窗格中选择日志。您应看到一个名为 /aws/sagemaker/groundtruth/WorkerActivity 的日志组。
每个完成的任务将由一个日志条目表示,其中包含有关工作人员、他们的团队、作业、接受任务的时间以及任务提交时间的信息。
例 日志条目
{ "worker_id": "cd449a289e129409", "cognito_user_pool_id": "us-east-2_IpicJXXXX", "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd", "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019", "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019", "task_returned_time": "", "task_declined_time": "", "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team", "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo", "work_requester_account_id": "############", "job_reference_code": "############", "job_type": "Private", "event_type": "TasksSubmitted", "event_timestamp": "1565798464" }
每个事件中有用的数据点是 cognito_sub_id
。您可以将其与单个工作人员匹配。
-
通过 https://console.aws.amazon.com/sagemaker/
打开 Amazon SageMaker 控制台。 在 Ground Truth 部分下,选择人力。
选择私有。
选择私有团队部分中的团队名称。
在团队摘要部分中,选择 Amazon Cognito 用户组下标识的用户组。这会将您带到 Amazon Cognito 控制台中的该组。
组页面列出了组中的用户。选择用户名列中任何用户的链接以查看有关该用户的更多信息,包括唯一的子 ID。
要获取团队所有成员的信息,请使用 Amazon Cognito API 中的 ListUsers 操作(示例)。
使用日志指标
如果您不想编写自己的脚本来处理和可视化原始日志信息,则 Amazon CloudWatch 指标会为您提供有关工作人员活动的见解。
查看指标
通过 https://console.aws.amazon.com/cloudwatch/
打开 CloudWatch 控制台。 -
在导航窗格中,请选择指标。
-
选择
AWS/SageMaker/Workteam
名称空间,然后探索可用指标。例如,选择工作团队和人力指标后,可以计算出特定标注作业的每个已提交任务的平均时间。
有关更多信息,请参阅使用 Amazon CloudWatch 指标。