支持进行微调的大型语言模型 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

支持进行微调的大型语言模型

支持在 Autopilot 中进行微调的文本生成模型

使用 Autopilot API,用户可以微调以下大型语言模型 (LLM)。这些模型采用 Amazon SageMaker JumpStart 技术。

模型 API 请求中的 BaseModelName 描述
Falcon-7B-Instruct Falcon7B

Falcon-7B-Instruct 有 70 亿个参数,并在聊天和指令数据集的混合基础上进行了微调。该模型适合作为虚拟助手,在遵循指令或进行对话时表现最佳。由于该模型是在大量英语 Web 数据的基础上训练出来的,因此带有网上常见的刻板印象和偏见,不适合英语以外的语言。与 Falcon-40B-Instruct 相比,Falcon-7B-Instruct 是一种稍小、更紧凑的模型。

Falcon-40B-Instruct Falcon40B

Falcon-40B-Instruct 有 400 亿个参数,并在聊天和指令数据集的混合基础上进行了微调。该模型适合作为虚拟助手,在遵循指令或进行对话时表现最佳。由于该模型是在大量英语 Web 数据的基础上训练出来的,因此带有网上常见的刻板印象和偏见,不适合英语以外的语言。与 Falcon-7B-Instruct 相比,Falcon-40B-Instruct 模型稍微大一些,功能也更强大。

MPT-7B-Instruct MPT7B

MPT-7B-Instruct 是一种长格式指令跟踪任务的模型,可帮助您完成包括文本摘要和问题解答在内的写作任务,从而节省您的时间和精力。该模型是在大量经过微调的数据上训练的,可以处理较大的输入内容,例如复杂的文档。当您希望处理大量文本或希望模型生成较长的响应时,请使用该模型。