亚马逊 SageMaker 澄清偏差检测和模型可解释性 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

亚马逊 SageMaker 澄清偏差检测和模型可解释性

本主题介绍如何配置亚马逊。 SageMaker 澄清能够计算偏见指标和功能归因的处理作业以获得可解释性。它是使用专门的 SageMaker 澄清容器映像。提供了有关如何查找和下载其中一个容器映像的说明。简要概述如何 SageMaker 草绘了澄清作品。本文介绍了配置处理作业所需的参数和分析类型。概述了先决条件以及有关消耗的计算资源的建议 SageMaker 提供了澄清处理作业。

示例笔记本

亚马逊 SageMaker 澄清为训练后偏差检测和模型可解释性提供了以下示例笔记本:

  • 亚马逊 SageMaker 澄清处理使用 — 使用 SageMaker 澄清以创建处理作业,以检测偏差并使用功能归因解释模型预测。示例包括使用 CSV 和JSON 行数据格式、自带容器以及使用 Spark 运行处理作业。

这款笔记本已经验证可在亚马逊上运行 SageMaker 仅限 Studio。如果您需要有关如何在亚马逊打开笔记本电脑的说明 SageMaker 工作室,请参阅创建或打开亚马逊 SageMaker Studio Notebook. 如果系统会提示您选择内核,请选择Python 3(数据科学).

先决条件

在开始之前,您需要满足以下先决条件:

  • 您需要在 CSV 中以表格文件的形式提供输入数据集或JSON 行格式的日期和时间。输入数据集必须包含用于偏差分析的标签列。数据集应为机器学习做好准备,并且任何需要的预处理(例如数据清理或要素工程)已经完成。

  • 您需要提供一个支持 CSV 或 JSON Line 文件格式的模型工件作为其内容类型输入之一。为了获得训练后的偏差指标和可解释性,我们使用数据集来推断模型工件。减去标签列的每一行都必须准备好用作推断的负载。

  • 使用创建处理作业时 SageMaker 容器镜像,你需要以下内容:

    • 必须为处理作业禁用网络隔离。

    • 如果模型在 VPC 中,则处理作业必须与模型在同一 VPC 中。

    • 调用者的IAM 用户/角色必须有权限 SageMaker API。建议使用 "arn:aws:iam::aws:policy/AmazonSageMakerFullAccess" 托管式策略。