序列到序列的工作原理

一个嵌入层。在此层中，输入矩阵是以稀疏的方式编码的输入标记 (例如，单热点编码)，映射到密集的特征层。这是必需的，因为高维特征向量比简单的单热点编码向量更能编码有关特定标记 (用于文本语料库的单词) 的信息。用预先训练过的单词向量 (如 FastText 或 Glove) 初始化此嵌入层或者在训练过程中随机初始化它并学习参数也是一种标准做法。

一个编码器层。将输入标记映射到高维特征空间之后，序列会通过编码器层传递，从而将 (整个序列的) 输入嵌入层中的所有信息压缩为固定长度的特征向量。通常，编码器由 RNN 型网络组成，如长短期内存 (LSTM) 或门控循环单元 (GRU)。( Colah 的博客非常详细地解释了 LSTM。)

一个解码器层。解码层采用此编码的特征向量，并生成标记的输出序列。此层通常也用 RNN 架构 (LSTM 和 GRU) 构建。