线性学习器超参数 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

线性学习器超参数

下表包含线性学习器算法的超参数。这些是由用户设置的参数,以便于从数据中评估模型参数。首先,按字母顺序列出必须设置的所需超参数。接下来,也按字母顺序列出可以设置的可选超参数。当超参数设置为 auto 时,Amazon SageMaker 将自动计算并设置该超参数的值。

参数名称 描述
num_classes

响应变量的分类数量。该算法假定分类标记为 0、...、num_classes - 1

时,predictor_type 为必需multiclass_classifier。 否则,算法将忽略它。

有效值:整数从 3 到 1000000

predictor_type

将目标变量的类型指定为二元分类、多类别分类或回归。

必需

有效值:binary_classifiermulticlass_classifierregressor

accuracy_top_k

当计算多类别分类的前 k 个最大数准确率指标时,为 k 的值。如果模型将前 k 个最大数分数中的一个分配给实际标签,则将示例评分为正确。

可选

有效值:正整数

默认值:3

balance_multiclass_weights

指定是否使用分类权重,这使得每个分类在损失函数中具有相同的重要性。仅当 predictor_typemulticlass_classifier 时使用。

可选

有效值:truefalse

默认值:false

beta_1

一阶矩估计的指数衰减率。仅当 optimizer 值为 adam 时适用。

可选

有效值:auto 或 0 到 1.0 之间的浮点值

默认值:auto

beta_2

二阶矩估计的指数衰减率。仅当 optimizer 值为 adam 时适用。

可选

有效值:auto 或 0 到 1.0 之间的浮点整数值

默认值:auto

bias_lr_mult

允许偏移项有不同的学习率。偏移的实际学习率是 learning_rate * bias_lr_mult

可选

有效值:auto 或正的浮点整数

默认值:auto

bias_wd_mult

允许偏移项有不同的正则化。偏移的实际 L2 正则化权重为 wd * bias_wd_mult。 默认情况下,偏移项上没有正则化。

可选

有效值:auto 或非负浮点整数

默认值:auto

binary_classifier_model_selection_criteria

predictor_type 设置为 binary_classifier 时,验证数据集的模型评估标准(或者,如果未提供验证数据集,则为训练数据集)。标准包括:

  • accuracy — 具有最高准确率的模型。

  • f_beta — 具有最高 F1 分数的模型。默认值为 F1。

  • precision_at_target_recall — 在给定的查全率目标上具有最高查准率的模型。

  • recall_at_target_precision — 在给定的查准率目标上具有最高查全率的模型。

  • loss_function — 具有训练中使用的最低损失函数值的模型。

可选

有效值:accuracyf_betaprecision_at_target_recallrecall_at_target_precisionloss_function

默认值:accuracy

early_stopping_patience 如果在相关指标中没有改进,则在结束训练前等待的纪元数。如果您提供了 binary_classifier_model_selection_criteria 的值,则指标就是该值。否则,指标与为 loss 超参数指定的值相同。

该指标是在验证数据上评估的。如果未提供验证数据,则该指标始终与为 loss 超参数指定的值相同,并在训练数据上进行评估。要禁用提前停止,请将 early_stopping_patience 设置为大于为 epochs 指定的值。

可选

有效值:正整数

默认值:3

early_stopping_tolerance

用于评估损失改善的相对容差。如果损失改善除以上一个最佳损失的比率小于此值,则提前停止逻辑会认为改善是零。

可选

有效值:正的浮点整数

默认值:0.001

epochs

扫描训练数据的最大次数。

可选

有效值:正整数

默认值:15

f_beta

在计算二元分类或多类别分类的 F 分数指标时使用的 Beta 值。如果为 binary_classifier_model_selection_criteria 指定的值为 f_beta,也会使用此选项。

可选

有效值:正的浮点整数

默认值:1.0

feature_dim

输入数据中的特征数。

可选

有效值:auto 或正整数

默认值:auto

huber_delta

用于 Huber 损失的参数。在训练和指标评估过程中,对小于增量的错误计算 L2 损失,对大于增量的错误计算 L1 损失。

可选

有效值:正的浮点整数

默认值:1.0

init_bias

偏移项的初始权重。

可选

有效值:浮点整数

默认值:0

init_method

设置用于模型权重的初始分布函数。函数包括:

  • uniform — 在 (-scale, +scale) 之间均匀分布

  • normal — 正态分布,平均值为 0,幅度为 sigma

可选

有效值:uniform 或者 normal

默认值:uniform

init_scale

扩展模型权重的初始均匀分布。仅当 init_method 超参数设置为 uniform 时适用。

可选

有效值:正的浮点整数

默认值:0.07

init_sigma

正态分布的初始标准差。仅当 init_method 超参数设置为 normal 时适用。

可选

有效值:正的浮点整数

默认值:0.01

l1

L1 正则化参数。如果您不想使用 L1 正则化,请将值设置为 0。

可选

有效值:auto 或非负浮点值

默认值:auto

learning_rate

优化程序用于参数更新的步长。

可选

有效值:auto 或正的浮点整数

默认值:auto ,其值取决于选择的优化程序。

loss

指定损失函数。

可用的损失函数及其默认值取决于 predictor_type 的值:

  • 如果 predictor_type 设置为 regressor,则可用的选项为 autosquared_lossabsolute_losseps_insensitive_squared_losseps_insensitive_absolute_lossquantile_losshuber_loss。 的默认值为 autosquared_loss

  • 如果 predictor_type 设置为 binary_classifier,则可用的选项为 autologistichinge_loss。 的默认值为 autologistic

  • 如果 predictor_type 设置为 multiclass_classifier,则可用的选项为 autosoftmax_loss。 的默认值为 autosoftmax_loss

有效值:autologisticsquared_lossabsolute_losshinge_losseps_insensitive_squared_losseps_insensitive_absolute_lossquantile_losshuber_loss

可选

默认值:auto

loss_insensitivity

epsilon 不敏感损失类型的参数。在训练和指标评估过程中,任何小于此值的误差都被认为是零。

可选

有效值:正的浮点整数

默认值:0.01

lr_scheduler_factor

对于每个 lr_scheduler_step 超参数,学习率按此数量减少。仅当 use_lr_scheduler 超参数设置为 true 时适用。

可选

有效值:auto 或 0 到 1 之间的正浮点整数值

默认值:auto

lr_scheduler_minimum_lr

学习速率永远不会降低到低于为 lr_scheduler_minimum_lr 设置的值。 仅当 use_lr_scheduler 超参数设置为 true 时适用。

可选

有效值:auto 或正的浮点整数

默认值:auto

lr_scheduler_step

学习率下降之间的步骤数。仅当 use_lr_scheduler 超参数设置为 true 时适用。

可选

有效值:auto 或正整数

默认值:auto

margin

hinge_loss 函数的间隔。

可选

有效值:正的浮点整数

默认值:1.0

mini_batch_size

用于数据迭代器的每个小批量的观察次数。

可选

有效值:正整数

默认值:1000

momentum

sgd 优化程序的动量。

可选

有效值:auto 或 0 到 1.0 之间的浮点整数值

默认值:auto

normalize_data

在训练之前标准化特征数据。数据标准化将各个特征的数据转换为具有平均值零并进行缩放以获得单位标准偏差。

可选

有效值:autotruefalse

默认值:true

normalize_label

对标签进行标准化。标签标准化将标签移动到平均值零,并将其缩放为具有单位标准偏差。

auto 默认值标准化回归问题的标签,但不标准化分类问题的标签。对于分类问题,如果您将 normalize_label 超参数设置为 true,该算法将忽略它。

可选

有效值:autotruefalse

默认值:auto

num_calibration_samples

验证数据集中用于模型校准的观察次数(在查找最佳阈值时)。

可选

有效值:auto 或正整数

默认值:auto

num_models

并行训练的模型数。对于默认值 auto,算法决定训练的并行模型数。一个模型根据给定的训练参数(正则化、优化程序、损失)进行训练,其余模型根据接近参数进行训练。

可选

有效值:auto 或正整数

默认值:auto

num_point_for_scaler

用于计算标准化或取消偏移项的数据点数量。

可选

有效值:正整数

默认值:10000

optimizer

要使用的优化算法。

可选

有效值:

  • auto — 默认值。

  • sgd — 随机梯度下降。

  • adam适应性动量估计

  • rmsprop — 基于梯度的优化技术,使用平方梯度的移动平均值来标准化梯度。

默认值:auto。 的默认设置为 autoadam

positive_example_weight_mult

在训练二元分类器时分配给正示例的权重。负示例的权重固定为 1。如果您希望算法选择一个权重,以便分类负 正示例时发生的错误对训练损失有相同的影响,请指定 balanced。 如果您希望算法选择优化性能的权重,请指定 auto

可选

有效值:balancedauto 或正的浮点整数

默认值:1.0

quantile

分位数损失的分位数。对于分位数 q,模型将尝试生成预测,以便 true_label 的值大于概率 q 的预测。

可选

有效值:浮点整数介于 0 和 1 之间

默认值:0.5

target_precision

目标查准率。如果 binary_classifier_model_selection_criteriarecall_at_target_precision,则查准率保持为此值,同时查全率最大化。

可选

有效值:介于 0 和 1.0 之间的浮点整数值

默认值:0.8

target_recall

目标查全率。如果 binary_classifier_model_selection_criteriaprecision_at_target_recall,则查全率保持在此值,同时查准率最大化。

可选

有效值:介于 0 和 1.0 之间的浮点整数值

默认值:0.8

unbias_data

在训练前对特性取消偏移以使平均值为 0。默认情况下,将取消偏移数据,因为 use_bias 超参数设置为 true

可选

有效值:autotruefalse

默认值:auto

unbias_label

在训练前对标签取消偏移以使平均值为 0。仅当 use_bias 超参数设置为 true 时才适用于回归。

可选

有效值:autotruefalse

默认值:auto

use_bias

指定模型是否应包含偏移项,即线性等式中的截距项。

可选

有效值:true 或者 false

默认值:true

use_lr_scheduler

是否对学习率使用计划程序。如果要使用计划程序,请指定 true

可选

有效值:true 或者 false

默认值:true

wd

权重衰减参数,也称为 L2 正则化参数。如果不希望使用 L2 正则化,请将此值设置为 0。

可选

有效值:auto 或非负浮点整数

默认值:auto