适用于基础模型的提示工程 - Amazon SageMaker
零样本学习少样本学习支持的推理参数
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

适用于基础模型的提示工程

提示工程是针对语言模型，设计和完善提示或输入刺激以生成特定类型输出的过程。提示工程涉及到选择适当的关键字、提供上下文，并以促进模型生成所需响应的方式塑造输入，这是一项主动塑造基础模型行为和输出的重要技术。

有效的提示工程对于指导模型行为和实现所需的响应至关重要。通过提示工程，您可以控制模型的语气、风格和领域专业知识，而无需进行诸如微调之类的更多自定义措施。我们建议您在考虑根据其他数据对模型进行微调之前，专门用一些时间来设计提示工程。目标是为模型提供足够的背景信息和指导，使其能够对没见过或有限数据的场景进行概括并有好的表现。

零样本学习

零样本学习涉及训练模型以对没见过的类或任务进行概括和预测。要在零样本学习环境中执行提示工程，我们建议您构造提示，明确提供有关目标任务和所需输出格式的信息。例如，如果您要使用基础模型，对模型在训练期间未看到的一组类进行零样本文本分类，则良好设计的提示可能是："Classify the following text as either sports, politics, or entertainment: [input text]."。通过明确指定目标类和预期的输出格式，您可以指导模型即使对没见过的类也能做出准确的预测。

少样本学习

少样本学习涉及使用有限的数据量训练模型，以用于新课程或任务。在少样本学习环境中，提示工程侧重于设计能够高效利用有限的可用训练数据的提示。例如，如果您使用基础模型执行图像分类任务，并且只有几个新图像类的样本，则可以设计一个提示，在其中包含可用的已标注样本，并带有用于目标类的占位符。例如，提示可能是："[image 1], [image 2], and [image 3] are examples of [target class]. Classify the following image as [target class]"。通过纳入有限的已标注样本并明确指定目标类，即使训练数据极少，您也可以指导模型进行概括并做出准确的预测。

支持的推理参数

更改推理参数也可能影响对提示的响应。虽然您可以尝试为提示添加尽可能多的特异性和上下文，但也可以尝试使用支持的推理参数。以下是一些常用的推理参数的示例：

推理参数 描述

max_new_tokens

基础模型响应的最大输出长度。有效值：整数，范围：正整数。

temperature

控制输出中的随机性。较高的温度会导致输出序列中包含低概率词，而较低的温度会生成带有高概率词的输出序列。如果temperature=0，则响应仅由概率最高的单词组成（贪婪的解码）。有效值：浮点型，范围：正浮点数。

top_p

在文本生成的每个步骤中，模型都会从尽可能小的单词集中抽样，累积概率为top_p。有效值：浮点型，范围：0.0、1.0。

return_full_text

如果True，则输入文本是生成的输出文本的一部分。有效值：布尔值，默认值：假。

有关基础模型推断的更多信息，请参阅与JumpStartModel课堂一起部署公开可用的基础模型。

如果提示工程不足以根据特定的业务需求、特定领域的语言、目标任务或其他要求来调整基础模型，您可以考虑根据其他数据微调模型，或者使用检索增强生成 (RAG)，通过来自存档知识来源的增强上下文来增强模型架构。有关更多信息，请参阅微调基础模型或检索增强生成 (RAG)。