NTM 超参数 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

NTM 超参数

参数名称 描述

feature_dim

数据集的词汇表大小。

必需

有效值:正整数(最小值:1,最大值:1,000,000)

num_topics

所需的主题数。

必需

有效值:正整数 (最小值:2,最大值:1000)

batch_norm

在训练过程中是否使用批处理标准化。

可选

有效值:truefalse

默认值:false

clip_gradient

每个梯度组件的最大幅度。

可选

有效值:浮点数(最小值:1e-3)

默认值:无限值

encoder_layers

编码器中的层数和每个层的输出大小。当设置为 auto 时,算法使用各自大小为 3 x num_topics 和 2 x num_topics 的两个层。

可选

有效值:逗号分隔的正整数或 auto 列表

默认值:auto

encoder_layers_activation

要在编码器层中使用的激活函数。

可选

有效值:

默认值:sigmoid

epochs

扫描训练数据的最大次数。

可选

有效值:正整数 (最小值:1)

默认值:50

learning_rate

优化程序的学习率。

可选

有效值:浮点数(最小值:1e-6,最大值:1.0)

默认值:0.001

mini_batch_size

每个小批量中的示例数。

可选

有效值:正整数 (最小值:1,最大值:10000)

默认值:256

num_patience_epochs

计算提前停止标准所依据的连续纪元数。当损失函数的变化在最近 num_patience_epochs 个纪元内低于指定 tolerance 时,将触发提前停止。要禁用提早停止,请将 num_patience_epochs 设置为一个大于 epochs 的值。

可选

有效值:正整数 (最小值:1)

默认值:3

optimizer

用于训练的优化程序。

可选

有效值:

默认值:adadelta

rescale_gradient

梯度的缩放因子。

可选

有效值:浮点型(最小值:1e-3,最大值:1.0)

默认值:1.0

sub_sample

每个纪元中要采样用于训练的训练数据的一部分。

可选

有效值:浮点数(最小值:0.0,最大值:1.0)

默认值:1.0

tolerance

损失函数的最大相对变化。当损失函数的变化在最近 num_patience_epochs 个纪元内低于此值时,将触发提前停止。

可选

有效值:浮点数(最小值:1e-6,最大值:0.1)

默认值:0.001

weight_decay

权重衰减系数。添加 L2 正则化。

可选

有效值:浮点数(最小值:0.0,最大值:1.0)

默认值:0.0