在 Amazon SageMaker Python 软件开发工具包 HuggingFaceProcessor中使用的代码示例 - 亚马逊 SageMaker AI
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在 Amazon SageMaker Python 软件开发工具包 HuggingFaceProcessor中使用的代码示例

Hugging Face 是自然语言处理 (NLP) 模型的开源提供商。Amaz SageMaker on Python 软件开发工具包HuggingFaceProcessor中的让你能够使用 Hugging Face 脚本运行处理作业。在使用 HuggingFaceProcessor 时,您可以利用 Amazon 构建的 Docker 容器和托管的 Hugging Face 环境,这样您便无需自带容器。

以下代码示例显示了如何使用 SageMaker AI 提供和维护的 Docker 镜像来运行处理作业。HuggingFaceProcessor请注意,当你运行作业时,你可以在source_dir参数中指定一个包含脚本和依赖关系的目录,也可以在你的source_dir目录中有一个requirements.txt文件来指定处理脚本的依赖关系。 SageMaker 处理会为您在容器requirements.txt中安装依赖项。

from sagemaker.huggingface import HuggingFaceProcessor from sagemaker.processing import ProcessingInput, ProcessingOutput from sagemaker import get_execution_role #Initialize the HuggingFaceProcessor hfp = HuggingFaceProcessor( role=get_execution_role(), instance_count=1, instance_type='ml.g4dn.xlarge', transformers_version='4.4.2', pytorch_version='1.6.0', base_job_name='frameworkprocessor-hf' ) #Run the processing job hfp.run( code='processing-script.py', source_dir='scripts', inputs=[ ProcessingInput( input_name='data', source=f's3://{BUCKET}/{S3_INPUT_PATH}', destination='/opt/ml/processing/input/data/' ) ], outputs=[ ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'), ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'), ProcessingOutput(output_name='val', source='/opt/ml/processing/output/val/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}') ] )

如果您有 requirements.txt 文件,它应该是您要在容器中安装的库的列表。source_dir 的路径可以是相对路径、绝对路径或 Amazon S3 URI 路径。但是,如果您使用 Amazon S3 URI,则路径必须指向 tar.gz 文件。在您为 source_dir 指定的目录中可以有多个脚本。要了解有关该HuggingFaceProcessor课程的更多信息,请参阅亚马逊 A SageMaker I Python SD K 中的 Hugging Fac e Estimator。