优化 NTM 模型 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

优化 NTM 模型

自动模型优化(也称作超参数优化)通过运行很多在数据集上测试一系列超参数的作业来查找模型的最佳版本。您可以选择可优化超参数、每个超参数的值范围和一个目标指标。您可以从算法计算的指标中选择目标指标。自动模型优化将搜索所选超参数以找到导致优化目标指标的模型的值组合。

Amazon SageMaker NTM 是一种无监督学习算法,它学习大量离散数据集合(如文档语料库)的潜在表示。潜在表示使用未直接测量的推理变量来对数据集中的观察值进行建模。NTM 上的自动模型优化可帮助您找到最小化训练或验证数据损失的模型。训练损失 用于衡量模型适合训练数据的程度。验证损失 用于衡量模型可推广到未经过训练的数据的程度。低训练损失表明模型非常适合训练数据。低验证损失表明模型没有过拟合训练数据,因此应该能够对未经训练的文档成功进行建模。通常,两个损失最好都很小。但是,将训练损失降到最低可能会导致过拟合并增加验证损失,这会降低模型的通用性。

有关模型优化的更多信息,请参阅使用 SageMaker 执行自动模型调优

NTM 算法计算的指标

NTM 算法报告在训练期间计算的单个指标:validation:total_loss。总损失是重建损失和 Kullback-Leibler 分歧的总和。优化超参数值时,请选择此指标作为目标。

指标名称 描述 优化方向
validation:total_loss

验证集上的总损失

最小化

可优化 NTM 超参数

您可以优化 NTM 算法的以下超参数。通常设置低 mini_batch_size 和小 learning_rate 值会导致较低的验证损失,尽管它可能需要更长的时间来训练。低验证损失不一定产生人类解释的更连贯的主题。其他超参数对训练和验证损失的影响可能因数据集而异。要了解哪些值是兼容的,请参阅 NTM 超参数

参数名称 参数类型 建议的范围
encoder_layers_activation

CategoricalParameterRanges

['sigmoid'、'tanh'、'relu']

learning_rate

ContinuousParameterRange

最小值:1e-4,最大值: 0.1

mini_batch_size

IntegerParameterRanges

最小值:16,最大值:2048

optimizer

CategoricalParameterRanges

['sgd'、'adam'、'adadelta']

rescale_gradient

ContinuousParameterRange

最小值:0.1,最大值:1.0

weight_decay

ContinuousParameterRange

最小值:0.0,最大值:1.0