本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
Amazon SageMaker 合作伙伴 AI 应用程序概述
借助 Amazon P SageMaker artner AI 应用程序，用户可以访问由行业领先的应用程序提供商构建、发布和分发的生成式 AI 和机器学习 (ML) 开发应用程序。 合作伙伴 AI 应用程序已通过认证，可在 SageMaker 人工智能上运行。借助合作伙伴 AI 应用程序，用户不仅可以加快其构建基于基础模型（FM）和传统机器学习模型的解决方案的速度，而且能够构建更出色的解决方案，同时不会损害敏感数据的安全性。数据会完全保留在用户信任的安全配置范围内，并且绝不会与第三方共享。
工作原理
合作伙伴 AI 应用程序是完整的应用程序栈，包含一个 Amazon Elastic Kubernetes Service 集群，以及一系列配套服务，其中可能包括应用程序负载均衡器、Amazon Relational Database Service、Amazon Simple Storage Service 存储桶、Amazon Simple Queue Service 队列和 Redis 缓存。
这些服务应用程序可以在 SageMaker AI 域中的所有用户之间共享，并由管理员进行配置。通过购买订阅配置应用程序后，管理员可以授予 SageMaker AI 域用户直接从 Amazon Studio Amazon Web Services Marketplace、Amazon Uni SageMaker fied SageMaker Studio（预览版）或使用预签名 URL 访问合作伙伴 AI 应用程序的权限。有关从 Studio 中启动应用程序的信息，请参阅启动亚马逊 SageMaker Studio。
合作伙伴 AI 应用程序为管理员和用户提供了以下优势。
-
管理员使用 SageMaker AI 控制台浏览、发现、选择和配置合作伙伴 AI 应用程序，供其数据科学和机器学习团队使用。部署合作伙伴 AI 应用程序后， SageMaker AI 会在服务托管Amazon Web Services 账户上运行它们。这极大地降低了与构建和操作这些应用程序相关的运营开销，并有助于保障客户数据的安全性和隐私性。
-
数据科学家和机器学习开发人员可以在 Amazon Studi SageMaker o 或 Amazon Uni SageMaker fied Studio（预览版）的机器学习开发环境中访问合作伙伴人工智能应用程序。他们可以使用合作伙伴 AI 应用程序来分析他们在 A SageMaker I 上创建的数据、实验和模型。这最大限度地减少了上下文切换，有助于加快构建基础模型，并将新的生成式人工智能功能推向市场。
与集成 Amazon Web Services 服务
合作伙伴 AI 应用程序使用现有 Amazon Identity and Access Management (IAM) 配置进行授权和身份验证。因此，用户无需提供单独的凭证即可从 Amazon SageMaker Studio 访问每个合作伙伴 AI 应用程序。有关使用合作伙伴 AI 应用程序进行授权和身份验证的更多信息，请参阅设置合作伙伴 AI 应用程序。
合作伙伴 AI 应用程序还与集成Amazon CloudWatch，以提供运营监控和管理。客户还可以在 Amazon Web Services 管理控制台中浏览合作伙伴 AI 应用程序，并获取其相关详细信息，例如功能、客户体验和定价。有关的信息Amazon CloudWatch，请参阅Amazon CloudWatch工作原理。
合作伙伴 AI 应用程序（例如 Deepchecks）支持与 Amazon Bedrock 集成，以启用基于 LLM 的评估功能，例如 “法学硕士作为评委” 评估和自动注释功能。启用 Amazon Bedrock 集成后，Partner AI 应用程序将使用您的客户管理的 Amazon Bedrock 账户访问基础模型，从而确保您的数据保持在可信的安全配置内。有关配置 Amazon Bedrock 集成的更多信息，请参阅配置 Amazon Bedrock 集成。
支持的类型
合作伙伴 AI 应用程序支持以下类型：
-
Comet
-
Deepchecks
-
Fiddler
-
Lakera Guard
当管理员启动合作伙伴 AI 应用程序时，他们必须选择用于启动合作伙伴 AI 应用程序的实例集群的配置。此配置被称为合作伙伴 AI 应用程序的层级。合作伙伴 AI 应用程序的层级可以是下列值之一：
-
small -
medium -
large
以下各部分提供了有关每种合作伙伴 AI 应用程序类型的信息，以及有关合作伙伴 AI 应用程序层级值的详细信息。
Comet为 AI 开发者提供 end-to-end模型评估平台，包括法学硕士评估、实验跟踪和生产监控。
根据工作负载，我们建议使用以下合作伙伴 AI 应用程序层级：
-
small– 建议用于具有最多 5 个用户和 20 个正在运行的作业的场景。 -
medium– 建议用于具有最多 50 个用户和 100 个正在运行的作业的场景。 -
large– 建议用于具有最多 500 个用户和 100 多个正在运行的作业的场景。
注意
SageMaker AI 不支持将Comet用户界面视为 Jupyter 笔记本输出的一部分。
AI 应用程序开发人员和利益相关者可借助 Deepchecks，在基于 LLM 的应用程序从部署前准备、内部试验到投产的整个生命周期内，对其各项特性、性能指标以及潜在风险进行持续验证。
根据工作负载所需的速度，我们建议使用以下合作伙伴 AI 应用程序层级：
-
small– 每秒处理 200 个令牌。 -
medium– 每秒处理 500 个令牌。 -
large– 每秒处理 1300 个令牌。
Fiddler AI 可观测性平台有助于验证、监控和分析生产中的机器学习模型，包括表格、深度学习、计算机视觉和自然语言处理模型。
根据工作负载所需的速度，我们建议使用以下合作伙伴 AI 应用程序层级：
-
small– 处理跨 5 个模型、100 项功能和 20 次迭代的 1000 万个事件，大约需要 53 分钟。 -
medium– 处理跨 5 个模型、100 项功能和 20 次迭代的 1000 万个事件，大约需要 23 分钟。 -
large– 处理跨 5 个模型、100 项功能和 100 次迭代的 1000 万个事件，大约需要 27 分钟。
Lakera Guard 是一款低延迟 AI 应用程序防火墙，可保护生成式人工智能应用程序免受特定于生成式人工智能的威胁。
根据工作负载，我们建议使用以下合作伙伴 AI 应用程序层级：
-
small— 建议用于最多 20 个机器人流程自动化 (RPAs)。 -
medium— 建议最多 100 人使用 RPAs。 -
large— 建议使用最多 200 个 RPAs。