Scikit-learn 和 Spark ML 的 Scikit-learn 和 Spark ML 的预构建 Amazon SageMaker Docker 映像 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Scikit-learn 和 Spark ML 的 Scikit-learn 和 Spark ML 的预构建 Amazon SageMaker Docker 映像

SageMaker 提供安装 scikit-learn 和 Spark ML 库的预构建的 Docker 映像。这些库还包括构建与 SageMaker 兼容的 Docker 映像所需的依赖关系,使用Amazon SageMaker Python 开发工具包. 通过使用该开发工具包,您可以使用 scikit-learn 执行机器学习任务,并使用 Spark ML 创建和优化机器学习管道。有关安装和使用该开发工具包的说明,请参阅 SageMaker Python 开发工具包

使用 SageMaker Python 开发工具包

下表包含具有 scikit-learn 和 Spark ML 容器的源代码的 GitHub 存储库的链接。此表还包含指向介绍如何将这些容器与 Python 开发工具包评估程序结合使用来运行您自己的训练算法以及托管您自己的模型的说明链接。

手动指定预构建映像

如果您没有使用 SageMaker Python 开发工具包及其某个评估程序来管理容器,则必须手动检索相关的预构建容器。SageMaker 预构建的 Docker 映像存储在 Amazon Elastic Container Registry (Amazon ECR) 中。您可以使用全名注册表地址推送或提取它们。SageMaker 为 scikit-learn 和 Spark M 使用以下 Docker 映像 URL 模式:

  • <ACCOUNT_ID>.dkr.ecr.<REGION_NAME>.amazonaws.com/sagemaker-scikit-learn:<SCIKIT-LEARN_VERSION>-cpu-py<PYTHON_VERSION>

    例如 。746614075791.dkr.ecr.us-west-1.amazonaws.com/sagemaker-scikit-learn:0.23-1-cpu-py3

  • <ACCOUNT_ID>.dkr.ecr.<REGION_NAME>.amazonaws.com/sagemaker-sparkml-serving:<SPARK-ML_VERSION>

    例如 。341280168497.dkr.ecr.ca-central-1.amazonaws.com/sagemaker-sparkml-serving:2.4

下表列出了账户 ID 和相应的支持值Amazon区域名称。

ACCOUNT_ID REGION_NAME
746614075791 us-west-1
246618743249 us-west-2
683313688378 us-east-1
257758044811 us-east-2
354813040037 ap-northeast-1
366743142698 ap-northeast-2
121021644041 ap-southeast-1
783357654285 ap-southeast-2
720646828776 ap-south-1
141502667606 eu-west-1
764974769150 eu-west-2
492215442770 eu-central-1
341280168497 ca-central-1
414596584902 us-gov-west-1

查找可用的映像

使用以下命令查找哪些版本的映像可用。例如,使用以下内容查找可用的sagemaker-sparkml-serving映像中的ca-central-1区域:

aws \ ecr describe-images \ --region ca-central-1 \ --registry-id 341280168497 \ --repository-name sagemaker-sparkml-serving