使用亚马逊检测训练后数据和模型偏差 SageMaker 澄清 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用亚马逊检测训练后数据和模型偏差 SageMaker 澄清

训练后的偏差分析可以帮助揭示可能源于数据中的偏见或分类和预测算法引入的偏见。这些分析考虑了包括标签在内的数据以及模型的预测。您可以通过分析预测标签或将预测值与数据中针对具有不同属性的组的观测目标值进行比较来评估绩效。有不同的公平概念,每个概念都需要不同的偏差指标来衡量。

有一些公平的法律概念可能不容易掌握,因为它们很难发现。例如,美国关于不同影响的概念,这种概念发生在一个被称为不太受欢迎的方面的群体时D, 即使所采取的办法似乎是公平的, 也会受到不利影响. 这种偏差可能不是由于机器学习模型造成的,但训练后偏差分析仍然可以检测到。

亚马逊 SageMaker 澄清试图确保术语的一致使用。有关术语及其定义的列表,请参阅亚马逊 SageMaker 澄清偏见和公平性条款.

有关训练后偏差指标的其他信息,请参阅金融 Machine Learning 的公平性措施.

示例笔记本

亚马逊 SageMaker 澄清为训练后偏差检测提供了以下示例笔记本:

  • 亚马逊 SageMaker 澄清处理使用 — 使用 SageMaker 澄清以创建处理作业,以检测偏差并使用功能归因解释模型预测。示例包括使用 CSV 和 JSON Line 数据格式、自带容器以及使用 Spark 运行处理作业。

这款笔记本已经验证可在亚马逊上运行 SageMaker 仅限 Studio。如果您需要有关如何在亚马逊打开笔记本电脑的说明 SageMaker 工作室,请参阅创建或打开亚马逊 SageMaker Studio Notebook. 如果系统会提示您选择内核,请选择Python 3(数据科学).