优化 NTM 模型 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

优化 NTM 模型

自动模型优化(也称作超参数优化)通过运行很多在数据集上测试一系列超参数的作业来查找模型的最佳版本。您可以选择可优化超参数、每个超参数的值范围和一个目标指标。您可以从算法计算的指标中选择目标指标。自动模型优化将搜索所选超参数以找到导致优化目标指标的模型的值组合。

Amazon SageMaker NTM 是一种自主型学习算法,它学习大量离散数据集合 (如文档语料库) 的潜在表示。潜在表示使用未直接测量的推理变量来对数据集中的观察值进行建模。NTM 上的自动模型优化可帮助您找到最小化训练或验证数据损失的模型。训练损失 用于衡量模型适合训练数据的程度。验证损失 用于衡量模型可推广到未经过训练的数据的程度。低训练损失表明模型非常适合训练数据。低验证损失表明模型没有过拟合训练数据,因此应该能够成功为尚未训练的文档建模。通常,两个损失最好都很小。但是,将训练损失降到最低可能会导致过拟合并增加验证损失,这会降低模型的通用性。

有关模型优化的更多信息,请参阅执行自动模型优化

NTM 算法计算的指标

NTM 算法报告在训练期间计算的单个指标:validation:total_loss。 总损失是重建损失和 Kullback-Leibler 偏差的总和。优化超参数值时,请选择此指标作为目标。

指标名称 描述 优化方向
validation:total_loss

验证集上的总损失

最小化

可优化 NTM 超参数

您可以优化 NTM 算法的以下超参数。通常设置低 mini_batch_size 和小 learning_rate 值会导致较低的验证损失,尽管它可能需要更长的时间来训练。低验证损失不一定产生人类解释的更连贯的主题。其他超级参数对训练和验证损失的影响可能因数据集而异。要了解哪些值是兼容的,请参阅NTM 超参数

参数名称 参数类型 建议的范围
encoder_layers_activation

CategoricalParameterRanges

['sigmoid'、'tanh'、'relu']

learning_rate

ContinuousParameterRange

MinValue:1e-4,MaxValue: 0.1

mini_batch_size

IntegerParameterRanges

MinValue:16,MaxValue:2048

optimizer

CategoricalParameterRanges

['sgd'、'adam'、'adadelta']

rescale_gradient

ContinuousParameterRange

MinValue:0.1、MaxValue:1.0

weight_decay

ContinuousParameterRange

MinValue:0.0、MaxValue:1.0