线性学习器工作方式 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

线性学习器工作方式

在线性学习器算法实施中涉及三个步骤:预处理、训练和验证。

步骤 1:预处理

标准化(或称为特征缩放)是特定损失函数的重要预处理步骤,可以确保在数据集上进行训练的模型不会由单个特征的权重所主导。Amazon SageMaker 线性学习器算法提供了一个标准化选项,用于协助此预处理步骤。如果已启用标准化,则该算法首先处理数据的一个小样本,用于了解各个特征以及标签的平均值和标准偏差。然后,完整数据集中的各个特征转换为具有平均值零并进行缩放以获得单位标准偏差。

注意

为了获得最佳结果,请确保在训练之前对您的数据进行随机排布。采用未随机排布的数据进行训练可能会导致训练失败。

您可以配置线性学习器算法是否分别使用 normalize_datanormalize_label 超参数来标准化特征数据和标签。默认情况下为特征和标签启用了标准化以进行回归。只有特征可以针对二元分类进行标准化,这是默认行为。

步骤 2:训练

使用线性学习器算法,您可以使用随机梯度下降 (SGD) 的分布式实现进行训练。您可以通过选择优化算法来控制优化过程。例如,您可以选择使用 Adam、AdaGrad、随机梯度下降或其他优化算法。您还可以指定其超参数,例如动量、学习率和学习率计划。如果您不确定要使用哪个算法或超参数值,请选择适用于大多数数据集的默认值。

在训练期间,您可以同时优化多个模型,每个模型的目标略有不同。例如,您可以改变 L1 或 L2 正则化并尝试不同的优化程序设置。

步骤 3:验证和设置阈值

并行训练多个模型时,在训练完成后针对验证集来评估模型,以便选择最优的模型。对于回归,最优模型是在验证集上实现最佳损失的模型。对于分类,使用验证集的样本来校准分类阈值。所选最优模型是在验证集上实现了最佳二元分类选择条件的模型。此类条件的示例包括 F1 度量、准确率和交叉熵损失。

注意

如果算法未提供验证集,则无法评估和选择最优模型。要利用并行训练和模型选择,请确保您向算法提供了验证集。