本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
支持的框架和 Amazon Web Services 区域
在使用SageMaker模型并行库之前,请检查支持的框架和实例类型,并确定您的Amazon账户中是否有足够的配额和。Amazon Web Services 区域
注意
要查看该库的最新更新和发行说明,请参阅 SageMakerPython SDK 文档中的SageMaker模型并行发行说明
支持的框架
SageMaker模型并行库支持以下深度学习框架,可在深度学习容器 (DLC) 中Amazon使用,也可以作为二进制文件下载。
PyTorch和SageMaker模型SageMaker并行库支持的版本 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
PyTorch版本 | SageMaker模型并行库版本 | smdistributed-modelparallel 集成的 DLC 图片 URI |
二进制文件的 URL ** | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
v2.0.0 | smdistributed-modelparallel==v1.15.0 |
|
https://sagemaker-distributed-model-parallel。s3.us-west-2.amazonaws.com /pytorch-2.0.0/build-artifacts/2023-04-14-20-14/smdistributed_modelparallel-1.15.0-cp310-linux_x86_64.whl | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
v1.13.1 | smdistributed-modelparallel==v1.15.0 |
|
https://sagemaker-distributed-model-parallel。s3.us-west-2.amazonaws.com /pytorch-1.13.1/build-artifacts/2023-04-17-15-49/smdistributed_modelparallel-1.15.0-cp39-cp39-linux_x86_64.whl | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
v1.12.1 | smdistributed-modelparallel==v1.13.0 |
|
https://sagemaker-distributed-model-parallel。s3.us-west-2.amazonaws.com /pytorch-1.12.1/build-artifacts/2022-12-08-21-34/smdistributed_modelparallel-1.13.0-cp38-cp38-linux_x86_64.whl | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
v1.12.0 | smdistributed-modelparallel==v1.11.0 |
|
https://sagemaker-distributed-model-parallel。s3.us-west-2.amazonaws.com /pytorch-1.12.0/build-artifacts/2022-08-12-16-58/smdistributed_modelparallel-1.11.0-cp38-cp38-linux_x86_64.whl | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
v1.11.0 | smdistributed-modelparallel==v1.10.0 |
|
https://sagemaker-distributed-model-parallel。s3.us-west-2.amazonaws.com /pytorch-1.11.0/build-artifacts/2022-07-11-19-23/smdistributed_modelparallel-1.10.0-cp38-cp38-linux_x86_64.whl | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
v1.10.2 |
smdistributed-modelparallel==v1.7.0 |
|
- | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
v1.10.0 |
smdistributed-modelparallel==v1.5.0 |
|
- | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
v1.9.1 |
smdistributed-modelparallel==v1.4.0 |
|
- | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
v1.8.1* |
smdistributed-modelparallel==v1.6.0 |
|
- |
注意
SageMaker模型并行度库 v1.6.0 及更高版本为提供了扩展功能。PyTorch有关更多信息,请参阅SageMaker模型并行库的核心功能:
** 二进制文件的 URL 用于在自定义容器中安装SageMaker模型并行度库。有关更多信息,请参阅使用SageMaker分布式模型并行库创建自己的 Docker 容器:
TensorFlow和SageMaker模型SageMaker并行库支持的版本 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
TensorFlow版本 | SageMaker模型并行库版本 | smdistributed-modelparallel 集成的 DLC 图片 URI |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
v2.6.0 | smdistributed-modelparallel==v1.4.0 |
763104351884.dkr.ecr. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
v2.5.1 | smdistributed-modelparallel==v1.4.0
|
763104351884.dkr.ecr.
|
SageMaker分布式数据SageMaker并行库支持的 Hugging Face Transformer 版本
Hugging Face 的Amazon深度学习容器使用SageMaker训练容器TensorFlow作为PyTorch和作为其基础图像。要查看 Hugging Face 变形金刚库版本以及配对PyTorch和TensorFlow版本,请参阅最新的 Hugging F ace Containers 和之前的 Hugging Fac
Amazon Web Services 区域
SageMaker数据并行库在所有使用Amazon深度学习容
支持的 实例类型
SageMaker模型并行库需要以下 ML 实例类型之一。
实例类型 |
---|
ml.g4dn.12xlarge |
ml.p3.16xlarge |
ml.p3dn.24xlarge
|
ml.p4d.24xlarge |
ml.p4de.24xlarge |
有关实例类型的规格,请参阅 Amazon EC2 实例类型页面
如果您遇到类似于以下内容的错误消息,请按照请求增加SageMaker资源的服务配额中的说明进行操作。
ResourceLimitExceeded: An error occurred (ResourceLimitExceeded) when calling the CreateTrainingJob operation: The account-level service limit 'ml.p3dn.24xlarge for training job usage' is 0 Instances, with current utilization of 0 Instances and a request delta of 1 Instances. Please contact AWS support to request an increase for this limit.