调整NTM模型 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

调整NTM模型

自动模型优化(也称作超参数优化)通过运行很多在数据集上测试一系列超参数的作业来查找模型的最佳版本。您可以选择可优化超参数、每个超参数的值范围和一个目标指标。您可以从算法计算的指标中选择目标指标。自动模型优化将搜索所选超参数以找到导致优化目标指标的模型的值组合。

Amazon SageMaker NTM 是一种无监督学习算法,它可以学习大量离散数据(例如文档语料库)的潜在表示形式。潜在表示使用未直接测量的推理变量来对数据集中的观察值进行建模。自动调整模型NTM可帮助您找到能够最大限度地减少训练或验证数据损失的模型。训练损失 用于衡量模型适合训练数据的程度。验证损失 用于衡量模型可推广到未经过训练的数据的程度。低训练损失表明模型非常适合训练数据。低验证损失表明模型没有过拟合训练数据,因此应该能够对未经训练的文档成功进行建模。通常,两个损失最好都很小。但是,将训练损失降到最低可能会导致过拟合并增加验证损失,这会降低模型的通用性。

有关模型优化的更多信息,请参阅自动调整模型 SageMaker

NTM算法计算的指标

该NTM算法报告训练期间计算的单个指标:validation:total_loss. 总损失是重建损失和 Kullback-Leibler 分歧的总和。优化超参数值时,请选择此指标作为目标。

指标名称 描述 优化方向
validation:total_loss

验证集上的总损失

最小化

可调超参数 NTM

您可以调整该NTM算法的以下超参数。通常设置低 mini_batch_size 和小 learning_rate 值会导致较低的验证损失,尽管它可能需要更长的时间来训练。低验证损失不一定产生人类解释的更连贯的主题。其他超参数对训练和验证损失的影响可能因数据集而异。要了解哪些值是兼容的,请参阅 NTM超参数

参数名称 参数类型 建议的范围
encoder_layers_activation

CategoricalParameterRanges

['sigmoid'、'tanh'、'relu']

learning_rate

ContinuousParameterRange

MinValue: 1e-4, MaxValue: 0.1

mini_batch_size

IntegerParameterRanges

MinValue: 16, MaxValue :2048

optimizer

CategoricalParameterRanges

['sgd'、'adam'、'adadelta']

rescale_gradient

ContinuousParameterRange

MinValue: 0.1, MaxValue: 1.0

weight_decay

ContinuousParameterRange

MinValue: 0.0, MaxValue: 1.0