博客、示例笔记本和其他资源

以下各节包含示例和其他资源，供您详细了解 Amazon SageMaker。

博客和案例研究

有关 SageMaker Inference 中各种功能的博客和案例研究列表，请参阅下表。您可以使用博客来帮助整理适用于您的使用案例的解决方案。

特征	资源
实时推理	开始在 Amazon SageMaker 上部署实时模型使用大型模型推理深度学习容器和 DeepSpeed 在 Amazon SageMaker 上部署 BLOOM-176B 和 OPT-30B。使用 Amazon API Gateway 映射模板和 Amazon SageMaker 创建由机器学习提供支持的 REST API
自动扩缩	在 Amazon SageMaker 中配置自动扩缩推理端点
无服务器推理	Amazon SageMaker 无服务器推理 – 无需担心服务器即可进行机器学习推理使用 Amazon SageMaker 无服务器推理托管 Hugging Face 转换器模型 Amazon SageMaker 无服务器推理基准测试工具包简介
异步推理	使用 Amazon SageMaker 异步端点对大型视频运行计算机视觉推理使用 Amazon Kinesis、Amazon Glue 和 Amazon SageMaker 构建预测性维护解决方案使用 Hugging Face 和 Amazon SageMaker 异步推理端点改善高价值研究
批量转换	使用 Amazon SageMaker 批量转换将预测结果与输入数据关联起来
多模型端点	使用 Amazon SageMaker 多模型端点节省推理成本使用 Amazon SageMaker 多模型端点在 GPU 上运行多个深度学习模型如何针对多租户 SaaS 使用案例扩展机器学习推理使用 Amazon SageMaker 多模型端点运行和优化多模型推理
串行推理管线	在 Amazon SageMaker 上设计串行推理的模式
多容器端点	在 Amazon SageMaker 上使用多框架模型进行经济高效的 ML 推理
运行模型组合	在 Amazon SageMaker 上运行组合 ML 模型
Inference Recommender	SageMaker Inference Recommender 示例笔记本适用于 HuggingFace BERT 情绪分析的 SageMaker Inference Recommender 示例笔记本在 Amazon SageMaker 上使用 NVIDIA Triton 推理服务器实现高性能的超大规模模型服务
高级模型托管博客系列	第 1 部分：在 Amazon SageMaker 上构建 ML 应用程序的常见设计模式第 2 部分：开始在 SageMaker 上部署实时模型第 3 部分：使用 Amazon SageMaker 多模型端点运行和优化多模型推理第 4 部分：在 Amazon SageMaker 上设计串行推理的模式第 5 部分：在 Amazon SageMaker 上使用多框架模型进行经济高效的 ML 推理第 6 部分：在 SageMaker 上测试和更新模型的最佳实践第 7 部分：在 Amazon SageMaker 上运行组合 ML 模型

示例笔记本

有关可以帮助您详细了解 SageMaker Inference 的示例笔记本，请参阅下表。

特征	示例笔记本
Inference Recommender	SageMaker Inference Recommender 示例笔记本适用于 HuggingFace BERT 情绪分析的 SageMaker Inference Recommender 示例笔记本
针对 SageMaker 优化大型语言模型 (LLM)	生成式人工智能 LLM 研讨会

其他资源

有关每个 SageMaker Inference 选项的详细信息，您可以观看以下视频。

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

资源

问题排除和参考资料