检测训练后数据和模型偏差 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

检测训练后数据和模型偏差

训练后偏差分析可以帮助发现可能源自数据中的偏差或来自分类和预测算法引入的偏差的偏差。这些分析会考虑数据,包括标签以及模型的预测。您可以通过分析预测的标签或通过比较预测与数据中对于具有不同属性的组观察到的目标值,来评估性能。存在不同的公平概念,每个概念都需要不同的偏差指标来衡量。

存在可能不太容易捕获的公平性法律概念,因为它们很难检测到。例如,美国的不同影响概念在组(称为不太倾向于的分面 d)遇到负面影响时发生,即使该方法看起来是公平的。此类偏差可能不是由于机器学习模型导致的,但可能仍可通过训练后偏差分析检测。

Amazon SageMaker Clarify 尝试确保术语的一致使用。有关术语及其定义的列表,请参阅Amazon SageMaker Clarify 偏差和公平性术语

有关训练后偏差指标的其他信息,请参阅 Finance 中机器学习的公平性措施。

示例笔记本

Amazon SageMaker Clarify 提供以下用于训练后偏移检测的示例笔记本:

此笔记本已经过验证,只能在 Amazon SageMaker Studio 中运行。如果您需要有关如何在 Amazon SageMaker Studio 中打开笔记本的说明,请参阅创建或打开 Amazon SageMaker Studio 笔记本。如果系统提示您选择内核,请选择 Python 3 (Data Science) (Python 3 (数据科学))。