本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
跟踪工作人员性能
Amazon SageMaker Ground Truth 将工作人员事件记录到 Amazon CloudWatch,例如当工作人员启动或提交任务时。使用 Amazon CloudWatch 指标来衡量和跟踪团队或单个工作人员的吞吐量。
工作人员事件跟踪不适用于 Amazon Advanced Augmented AI 人工审核工作流程。
启用追踪
在新工作团队的设置过程中,将创建 Amazon CloudWatch 工作人员事件记录的 Amazon CloudWatch 事件的权限。由于此功能是在 2019 年 8 月添加的,因此之前创建的工作团队可能没有正确的权限。如果您的所有工作团队都是在 2019 年 8 月之前创建的,请创建一个新的工作团队。它不需要任何成员,可以在创建后删除,但通过创建它,您可以建立权限并将权限应用于您的所有工作团队,无论这些团队何时创建都是如此。
检查日志
启用跟踪后,将记录工作人员的活动。打开 Amazon CloudWatch 控制台,然后选择。日志在导航窗格中。您应看到一个名为 /aws/sagemaker/groundtruth/WorkerActivity 的日志组。
每个完成的任务将由一个日志条目表示,其中包含有关工作人员、他们的团队、作业、接受任务的时间以及任务提交时间的信息。
例 日志条目
{ "worker_id": "cd449a289e129409", "cognito_user_pool_id": "us-east-2_IpicJXXXX", "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd", "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019", "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019", "task_returned_time": "", "task_declined_time": "", "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team", "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo", "work_requester_account_id": "############", "job_reference_code": "############", "job_type": "Private", "event_type": "TasksSubmitted", "event_timestamp": "1565798464" }
每个事件中有用的数据点是 cognito_sub_id
。您可以将其与单个工作人员匹配。
-
打开位于 https://console.aws.amazon.com/sagemaker/
的 Amazon SageMaker 控制台。 在Ground Truth部分,选择人力.
选择 Private (私有)。
选择 Private teams (私有团队) 部分中的团队名称。
在 Team summary (团队摘要) 部分中,选择 Amazon Cognito user group (Amazon Cognito 用户组)下标识的用户组。这会将您带到 Amazon Cognito 控制台中的该组。
Group (组) 页面列出了组中的用户。选择 Username (用户名) 列中任何用户的链接以查看有关该用户的更多信息,包括唯一的 sub (子) ID。
要获取有关团队的所有成员的信息,请使用ListUsers行动 (例子) 在 Amazon Cognito API 中。
使用日志指标
如果您不想编写自己的脚本来处理和可视化原始日志信息,则 Amazon CloudWatch 指标会为您提供有关工作人员活动的见解。
查看指标
访问 https://console.aws.amazon.com/cloudwatch/
打开 CloudWatch 控制台。 -
在导航窗格中,选择 Metrics(指标)。
-
选择
AWS/SageMaker/Workteam
命名空间,然后探索指标. 例如,选择工作团队和人力使用指标,可以计算特定标记作业的每个提交任务的平均时间。
有关更多信息,请参阅使用 Amazon CloudWatch 指标。