Amazon Nova 继续预训练 (CPT)

持续预训练 (CPT) 是一种通过在新的领域特定数据上训练预训练语言模型来扩展其功能的技术，同时保持其对一般语言的理解。与微调不同，CPT 使用与原始预训练相同的无监督目标（例如掩码或因果语言建模），并且不会修改模型的架构。

当您拥有大量未标记的特定领域数据（例如医疗或财务文本），并且希望在不失去其一般功能的情况下提高模型在专业领域的性能时，CPT 特别有价值。这种方法无需针对特定任务进行大量微调，即可增强目标域中的零镜头和少镜头性能。

有关在 Amazon Nova 模型自定义中使用 CPT 的详细说明，请参阅 Amazon Nov a 用户指南中的继续预训练 (CPT) 部分。