在根基模型中使用生成式人工智能 - Amazon SageMaker
先决条件 开始新的对话以生成、提取或汇总内容通过文档查询从文档中提取信息模型管理比较模型输出部署 JumpStart 基础模型
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在根基模型中使用生成式人工智能

Amazon SageMaker Canvas 提供了生成式人工智能基础模型，您可以使用这些模型开始对话聊天。这些内容生成模型基于大量文本数据进行训练，以学习单词之间的统计模式和关系，并且它们可以生成在统计学上与训练文本相似的连贯文本。您可以通过以下方式利用这一功能提高工作效率：

  • 生成文档大纲、报告和博客等内容

  • 从大量文本中总结文本，如财报电话会议记录、年度报告或用户手册章节

  • 从大段文本中提取见解和关键要点，例如会议记录或叙述

  • 改进文本，找出语法错误或拼写错误

基础模型是 Amazon SageMaker JumpStart 和 Amazon B edrock 大型语言模型 (LLM) 的组合。Canvas 提供以下模型：

模型 类型 描述

Amazon Titan

 Amazon Bedrock 模型

Amazon Titan 是一种功能强大的通用语言模型，可用于摘要、文本生成（例如创建博客文章）、分类、开放式问答和信息提取等任务。该模型在大型数据集上进行了预训练，因此适用于复杂的任务和推理。为了继续支持负责任地使用人工智能的最佳实践，Amazon Titan 基金会模型旨在检测和删除数据中的有害内容，拒绝用户输入中的不当内容，并筛选包含不当内容（例如仇恨言论、亵渎和暴力）的模型输出。

Anthropic Claude Instant

 Amazon Bedrock 模型

Anthropic 的 Claude Instant 是一种速度更快、成本效益更高、但功能仍然非常强大的模型。该模型可处理一系列任务，包括随意对话、文本分析、摘要和文档问题回答。就像 Claude-2 一样，Claude Instant 在每个提示中最多可以支持 10 万个令牌，相当于大约 200 页的信息。

Anthropic Claude-2

 Amazon Bedrock 模型

Claude-2 是 Anthropic 最强大的模型，擅长完成从复杂的对话和创意内容生成到详细的指令跟踪等各种任务。Claude-2 可以在每个提示中接收多达 10 万个令牌，相当于大约 200 页的信息。与之前的版本相比，该模型可以生成更长的响应。该模型支持的使用案例包括问题回答、信息提取、PII 删除、内容生成、多选分类、角色扮演、文本比较、摘要和带引文的文档问答。

Falcon-7B-Instruct

 JumpStart 模型

Falcon-7B-Instruct 有 70 亿个参数，并在聊天和指示数据集的混合基础上进行了微调。该模型适合作为虚拟助手，在遵循指令或进行对话时表现最佳。由于该模型是在大量英语 Web 数据的基础上训练出来的，因此带有网上常见的刻板印象和偏见，不适合英语以外的语言。与 Falcon-40B-Instruct 相比，Falcon-7B-Instruct 是一种稍小、更紧凑的模型。

Falcon-40B-Instruct

 JumpStart 模型

Falcon-40B-Instruct 有 400 亿个参数，并在聊天和指示数据集的混合基础上进行了微调。该模型适合作为虚拟助手，在遵循指令或进行对话时表现最佳。由于该模型是在大量英语 Web 数据的基础上训练出来的，因此带有网上常见的刻板印象和偏见，不适合英语以外的语言。与 Falcon-7B-Instruct 相比，Falcon-40B-Instruct 模型稍微大一些，功能也更强大。

Jurassic-2 Mid

 Amazon Bedrock 模型

Jurassic-2 Mid 是一款在海量文本语料库上训练的高性能文本生成模型（当前截至 2022 年年中）。该模型用途广泛、通用性强，能够撰写类似人类的文本并解决复杂的任务，例如问题回答、文本分类等。该模型提供了零样本指令功能，允许仅使用自然语言进行指导，而不使用示例。该模型的运行速度比其前身 Jurassic-1 模型快 30%。

Jurassic-2 Mid 是 AI21 的中型模型，经过精心设计，在卓越品质和经济实惠之间取得了恰当的平衡。

Jurassic-2 Ultra

 Amazon Bedrock 模型

Jurassic-2 Ultra 是一款在海量文本语料库上训练的高性能文本生成模型（当前截至 2022 年中）。该模型用途广泛、通用性强，能够撰写类似人类的文本并解决复杂的任务，例如问题回答、文本分类等。该模型提供了零样本指令功能，允许仅使用自然语言进行指导，而不使用示例。该模型的运行速度比其前身 Jurassic-1 模型快 30%。

与 Jurassic-2 Mid 相比，Jurassic-2 Ultra 模型要稍大一些，功能也更强大。

Llama-2-7b-chat

 JumpStart 模型

Llama-2-7b-Chat 是 Meta 开发的基础模型，适用于进行有意义和连贯的对话、生成新内容以及从现有笔记中提取答案。由于该模型是在大量英语互联网数据上训练的，因此它具有网上常见的偏见和局限性，最适合英语任务。

Llama-2-13B-Chat

 Amazon Bedrock 模型

在对互联网数据进行初步训练后，Meta 的 Llama-2-13B-Chat 根据对话数据进行了微调。它针对自然对话和引人入胜的聊天功能进行了优化，非常适合作为对话代理。与较小的 Llama-2-7b-Chat 相比，Llama-2-13B-Chat 的参数几乎是原来的两倍，这使它能够记住更多的背景并产生更细致入微的对话回应。就像 Llama-2-7b-Chat 一样，Llama-2-13B-Chat 是用英语数据训练的，最适合用英语完成任务。

Llama-2-70B-Chat

 Amazon Bedrock 模型

就像 Llama-2-7b-Chat 和 Llama-2-13B-Chat 一样，Meta 的 Llama-2-70B-Chat 模型经过优化，可以进行自然而有意义的对话。与更紧凑的模型版本相比，这个大型对话模型拥有700亿个参数，可以记住更广泛的背景并产生高度连贯的响应。但是，这是以反应速度较慢和资源需求增加为代价的。Llama-2-70B-Chat 接受了大量英语互联网数据的训练，最适合用英语完成任务。

Mistral-7B

 JumpStart 模型

Mistral.AI 的 Mistral-7B 是一款出色的通用语言模型，适用于各种自然语言 (NLP) 任务，例如文本生成、摘要和问题解答。它利用分组查询注意力 (GQA)，可以加快推理速度，使其性能与参数数量是原来的两倍或三倍的模型相当。它接受了混合文本数据的训练，包括英语书籍、网站和科学论文，因此最适合用英语完成任务。

Mistral-7B-Chat

 JumpStart 模型

Mistral-7B-Chat 是 Mistral.AI 在 Mistral-7B 基础上开发的对话模型。虽然Mistral-7B最适合一般的自然语言处理任务，但Mistral-7B-Chat已根据对话数据进行了进一步的微调，以优化其自然、引人入胜的聊天能力。结果，Mistral-7B-Chat 会生成更多类似人类的响应，并记住先前响应的背景。与Mistral-7B一样，该模型最适合英语任务。

MPT-7B-Instruct

 JumpStart 模型

MPT-7B-Instruct 是一种长格式指令跟踪任务的模型，可帮助您完成包括文本摘要和问题解答在内的写作任务，从而节省您的时间和精力。该模型是在大量经过微调的数据上训练的，可以处理较大的输入内容，例如复杂的文档。当您希望处理大量文本或希望模型生成较长的响应时，请使用该模型。

Amazon Bedrock 的根基模型目前仅在美国东部（弗吉尼亚州北部）和美国西部（俄勒冈州）区域提供。此外，在使用 Amazon Bedrock 的根基模型时，根据每个模型提供商指定的输入令牌和输出令牌的数量向您收费。有关更多信息，请参阅 Amazon Bedrock 定价页面。 JumpStart 基础模型部署在 SageMaker 托管实例上，使用时长将根据所使用的实例类型向您收费。有关不同实例类型费用的更多信息，请参阅SageMaker 定价页面上的 “Amazon SageMaker Hosting：实时推理” 部分。

文档查询是一项附加功能，您可以使用 Amazon Kendra 对存储在索引中的文档进行查询并从中获得见解。借助此功能，您可以根据这些文档的上下文生成内容，并接收特定于您的业务使用案例的响应，而不是对训练根基模型所依据的大量数据的通用响应。有关 Amazon Kendra 中索引的更多信息，请参阅《Amazon Kendra 开发人员指南》https://docs.amazonaws.cn/kendra/latest/dg/what-is-kendra.html。

如果您想从根据您的数据和用例定制的任何基础模型中获得响应，则可以微调基础模型。要了解更多信息，请参阅微调基础模型。

要开始使用，请参阅以下几节。

先决条件

以下几节概述在 Canvas 中与根基模型交互和使用文档查询功能的先决条件。本页其余内容假定您已满足根基模型的先决条件。文档查询功能需要额外的权限。

根基模型的先决条件

与模型交互所需的权限包含在 Canvas R eady-to-use 模型权限中。要在 Canvas 中使用人工智能驱动的生成模型，您必须在设置 Amazon SageMaker 域名时打开 Canvas R eady-to-use 模型配置权限。有关更多信息，请参阅 设置 Amazon C SageMaker anvas 的先决条件。Canvas 即用型模型配置将 AmazonSageMakerCanvasAI ServicesAccess 策略附加到您的 Canvas 用户 Amazon Identity and Access Management (IAM) 执行角色。如果您在授予权限时遇到任何问题，请参阅主题 解决通过 SageMaker 控制台授予权限的问题。

如果您已经设置了域名，则可以编辑域名设置并开启权限。有关如何编辑域名设置的说明，请参阅查看和编辑域名。编辑网域的设置时，进入画布设置并打开启用画布即用型模型选项。

某些 JumpStart 基础模型还要求您申请增加 SageMaker实例配额。Canvas 托管您当前在这些实例上与之交互的模型，但您账户的默认限额可能不足。如果您在运行以下任何模型时遇到错误，请申请增加相关实例类型的限额：

  • Falcon-40B – ml.g5.12xlarge、ml.g5.24xlarge

  • Falcon-13B – ml.g5.2xlarge、ml.g5.4xlarge、ml.g5.8xlarge

  • MPT-7B-Instruct – ml.g5.2xlarge、ml.g5.4xlarge、ml.g5.8xlarge

对于上述实例类型，请求将端点使用限额从 0 增加到 1。有关如何增加账户实例限额的更多信息，请参阅《服务限额用户指南》中的请求增加限额。

查询文档的先决条件

注意

以下地区支持文档查询 Amazon Web Services 区域：美国东部（弗吉尼亚北部）、美国东部（俄亥俄州）、美国西部（俄勒冈）、欧洲（爱尔兰）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（东京）和亚太地区（孟买）。

文档查询功能要求您已经有一个用于存储文档和文档元数据的 Amazon Kendra 索引。有关 Amazon Kendra 的更多信息，请参阅《Amazon Kendra 开发人员指南》https://docs.amazonaws.cn/kendra/latest/dg/what-is-kendra.html。要详细了解查询索引的限额，请参阅《Amazon Kendra 开发人员指南》中的限额。

您还必须确保 Canvas 用户配置文件具有查询文档所需的权限。该AmazonSageMakerCanvasFullAccess策略必须附加到托管您的 Canvas 应用程序的 SageMaker 域的 Amazon IAM 执行角色（默认情况下，此策略附加到所有新的和现有的 Canvas 用户配置文件中）。您还必须专门授予文档查询权限，并指定对一个或多个 Amazon Kendra 索引的访问权限。

如果您的 Canvas 管理员正在设置新的域名或用户配置文件，请他们按照中的说明设置域设置 Amazon C SageMaker anvas 的先决条件。在设置域名时，他们可以通过 C anvas R eady-to-use 模型配置开启文档查询权限。

Canvas 管理员也可以在用户配置文件级别管理文档查询权限。例如，如果管理员希望向某些用户配置文件授予文档查询权限，但删除其他用户配置文件的权限，他们可以编辑特定用户的权限。

以下过程演示如何为特定用户配置文件启用文档查询权限：

  1. 打开 SageMaker 控制台，网址为 https://console.aws.amazon.com/sagemaker/。

  2. 在左侧导航窗格中，选择管理员配置。

  3. 在管理员配置下，选择域。

  4. 从域列表中，选择用户配置文件的域。

  5. 在域名详细信息页面上，选择要编辑其权限的用户个人资料。

  6. 在用户详细信息页面上，选择编辑。

  7. 在左侧导航窗格中，选择 Canvas 设置。

  8. 在 Canvas R eady-to-use 模型配置部分，打开使用 Amazon Kendra 启用文档查询开关。

  9. 在下拉列表中，选择一个或多个您想要授予访问权限的 Amazon Kendra 索引。

  10. 选择提交以保存对您的域名设置的更改。

现在，您应该能够使用 Canvas 根基模型来查询指定的 Amazon Kendra 索引中的文档。

开始新的对话以生成、提取或汇总内容

要开始使用 Canvas 中的生成式人工智能根基模型，您可以使用其中一个模型启动新的聊天会话。对于 JumpStart 模型，你需要在模型处于活动状态时付费，因此当你想使用模型时，你必须启动模型，在完成交互后将其关闭。如果您没有关闭 JumpStart 模型，Canvas 会在闲置 2 小时后将其关闭。对于 Amazon Bedrock 型号（例如 Amazon Titan），您需要按提示付费；这些型号已经处于活动状态，无需启动或关闭。Amazon Bedrock 会直接向您收取使用这些模型的费用。

要开始与模型聊天，请执行以下操作：

  1. 打开 SageMaker 画布应用程序。

  2. 在左侧导航窗格中，选择即用型模型。

  3. 选择生成、提取和汇总内容。

  4. 在欢迎页面上，您将收到启动默认模型的建议。您可以启动推荐的模型，也可以从下拉菜单中选定选择其他模型来选择不同的模型。

  5. 如果您选择了 JumpStart 基础模型，则必须先将其启动，然后才能使用。选择启动模型，然后将模型部署到实 SageMaker 例。这可能需要几分钟才能完成。模型准备就绪后，您可以输入提示信息并向模型提问。

    如果您从 Amazon Bedrock 中选择了一个根基模型，只要输入提示信息和提问，就可以立即开始使用。

根据模型的不同，您可以执行各种任务。例如，您可以输入一段文字，并要求模型对其进行总结。或者，您也可以要求模型对您所在领域的市场趋势进行简短总结。

模型在聊天中的响应基于您之前提示的上下文。如果您想在聊天中提出一个与之前的对话主题无关的新问题，我们建议您启动与模型的新聊天。

通过文档查询从文档中提取信息

注意

本节假定您已完成上述部分 查询文档的先决条件。

文档查询是在 Canvas 中与根基模型交互时可以使用的功能。通过文档查询，您可以访问存储在 Amazon Kendra 索引中的文档语料库，该索引保存了您的文档内容，其结构使文档具有可搜索性。您可以针对 Amazon Kendra 索引中的数据提出具体问题，根基模型会返回问题的答案。例如，您可以查询内部 IT 信息知识库，并提出诸如“如何连接到公司网络？”之类的问题。有关设置索引的更多信息，请参阅《Amazon Kendra 开发人员指南》https://docs.amazonaws.cn/kendra/latest/dg/what-is-kendra.html。

在使用文档查询功能时，根基模型会使用一种名为“检索增强生成 (RAG)”的技术，将其响应限制在索引中的文档内容范围内。这种技术将索引中最相关的信息与用户的提示捆绑在一起，然后将其发送到根基模型以获得响应。响应仅限于索引中可以找到的内容，从而防止模型根据外部数据给出错误的响应。有关此过程的更多信息，请参阅博客文章基于企业数据快速构建高精度的生成式人工智能应用程序。

首先，在 Canvas 中与根基模型聊天时，打开页面顶部的文档查询开关。从下拉列表中，选择要查询的 Amazon Kendra 索引。然后，您可以开始提出与索引中的文档相关的问题。

重要

文档查询支持 比较模型输出 功能。当您开始新的聊天以比较模型输出时，任何现有的聊天历史记录都会被覆盖。

模型管理

注意

下一节描述了启动和关闭模型，这仅适用于 JumpStart 基础模型，例如 Falcon-40B-Instruct。您可以随时即时访问 Amazon Bedrock 模型，如 Amazon Titan。

您可以根据需要启动任意数量的 JumpStart 模型。每个活跃的 JumpStart模型都会对您的账户产生费用，因此我们建议您启动的模型不要超过当前使用的数量。

要启动其他模型，可以执行以下操作：

  1. 在生成、提取和汇总内容页面上，选择新建聊天。

  2. 从下拉菜单中选择模型。如果要选择下拉菜单中未显示的模型，请选择启动其他模型，然后选择要启动的模型。

  3. 选择启动模型。

模型应该会开始启动，几分钟后您就可以与模型聊天了。

我们强烈建议您关闭未使用的模型。模型在闲置 2 小时后自动关闭。但是，要手动关闭模型，您可以执行以下操作：

  1. 在生成、提取和汇总内容页面上，打开要关闭的模型的聊天。

  2. 在聊天页面上，选择更多选项图标 ( )。

  3. 选择关闭模型。

  4. 在关闭模型确认框中，选择关闭。

模型开始关闭。如果您的聊天比较了两个或多个模型，您可以从聊天页面关闭单个模型，方法是选择模型的更多选项图标 ( )，然后选择关闭模型。

比较模型输出

您可能需要并排比较不同模型的输出，以了解您更喜欢哪种模型的输出。这有助于您决定哪种模型最适合于您的使用案例。您最多可以在聊天中比较三种模型。

注意

每个单独的模型都会在您的账户上产生费用。

您必须开始新的聊天才能添加模型进行比较。要在聊天中并排比较模型的输出，请执行以下操作：

  1. 在聊天中，选择新建聊天。

  2. 选择比较，然后使用下拉菜单选择要添加的模型。要添加第三个模型，请再次选择比较以添加另一个模型。

    注意

    如果您想使用当前未处于活动状态的 JumpStart 模型，则系统会提示您启动该模型。

当模型处于活动状态时，您将在聊天中看到两个模型并排出现。您可以提交自己的提示，每个模型将在同一个聊天中做出响应，如以下屏幕截图所示。

Canvas 界面的屏幕截图，其中两个模型的输出并排显示。

完成交互后，请务必单独关闭所有 JumpStart 模型，以免产生进一步的费用。

部署 JumpStart 基础模型

如果您想通过应用程序或网站从 Amazon SageMaker JumpStart 基础模型中获得预测，可以将该模型部署到 SageMaker 终端节点。 SageMaker 端点托管您的模型，您可以通过应用程序代码向终端节点发送请求，以接收模型的预测。有关更多信息，请参阅 将模型部署到端点。