将 Python 库与 Amazon Glue 结合使用

Amazon Glue 允许您安装额外的 Python 模块和库，以便与 Amazon Glue ETL 一起使用。

使用 requirements.txt 在 Amazon Glue 5.0 中安装其他 Python 库

在 Amazon Glue 5.0 中，您可以提供事实标准 requirements.txt 来管理 Python 库依赖项。为此，请提供下面的两个作业参数：

Amazon Glue 5.0 节点最初加载 requirements.txt 中指定的 python 库。下面是示例 requirements.txt：

awswrangler==3.9.1 
elasticsearch==8.15.1
PyAthena==3.9.0
PyMySQL==1.1.1
PyYAML==6.0.2
pyodbc==5.2.0
pyorc==0.9.0 
redshift-connector==2.1.3
scipy==1.14.1
scikit-learn==1.5.2
SQLAlchemy==2.0.36

使用 pip 在 Amazon Glue 2.0 或更高版本中安装其他 Python 模块

Amazon Glue 使用 Python Package Installer（pip3）安装 Amazon Glue ETL 使用的其他模块。您可以将 --additional-python-modules 参数与逗号分隔的 Python 模块列表结合使用，以添加新模块或更改现有模块的版本。通过将分发上传到 Amazon S3，然后在模块列表中包含到 Amazon S3 对象的路径，您可以安装库的自定义分发。

您可以使用 --python-modules-installer-option 参数将其他选项传递给 pip3。例如，您可以传递 "--upgrade" 以升级 "--additional-python-modules" 指定的包。有关更多示例，请参阅使用 Amazon Glue 2.0 从 Spark ETL 工作负载仪表盘构建 Python 模块。

如果您的 Python 依赖项以传递方式依赖于原生编译代码，则可能会遇到以下限制：Amazon Glue 不支持在作业环境中编译原生代码。但是，Amazon Glue 作业在 Amazon Linux 2 环境中运行。您可通过 Wheel 分发以编译后的形式提供原生依赖项。

例如，要更新或添加新的 scikit-learn 模块，请使用以下键/值："--additional-python-modules", "scikit-learn==0.21.3"。

此外，在 --additional-python-modules 选项中，您可以指定指向 Python Wheel 模块的 Amazon S3 路径。例如：

--additional-python-modules s3://aws-glue-native-spark/tests/j4.2/ephem-3.7.7.1-cp37-cp37m-linux_x86_64.whl,s3://aws-glue-native-spark/tests/j4.2/fbprophet-0.6-py3-none-any.whl,scikit-learn==0.21.3

您可以在 Amazon Glue 控制台的作业参数字段中指定 --additional-python-modules，也可以通过在 Amazon SDK 中更改作业参数指定它。有关设置作业参数的更多信息，请参阅 在 Amazon Glue 作业中使用作业参数。

包含具有 PySpark 原生功能的 Python 文件

Amazon Glue 使用 PySpark 在 Amazon Glue ETL 作业中包含 Python 文件。如果可用，您希望使用 --additional-python-modules 管理依赖项。您可以使用 --extra-py-files 作业参数以包含 Python 文件。依赖关系必须托管在 Amazon S3 中，参数值应为逗号分隔的 Amazon S3 路径列表，且不含空格。此功能的行为类似于您将在 Spark 中使用的 Python 依赖项管理。有关 Spark 中 Python 依赖项管理的更多信息，请参阅 Apache Spark 文档中的 Using PySpark Native Features（使用 PySpark 原生功能）页面。如果其他代码未打包，或您使用现有工具链迁移 Spark 程序以管理依赖项时，--extra-py-files 非常有用。为使依赖项工具可维护，您必须在提交之前捆绑依赖项。

使用视觉对象转换的编程脚本

使用 Amazon Glue Studio 可视化界面创建 Amazon Glue 作业时，您可以使用托管式的数据转换节点和自定义视觉对象转换来转换数据。有关托管式数据转换节点的更多信息，请参阅 使用 Amazon Glue 托管转换转换数据。有关自定义视觉对象转换的更多信息，请参阅 使用自定义视觉转换来转换数据 。只有当作业的语言设置为使用 Python 时，才能生成使用视觉对象转换的脚本。

生成使用视觉对象转换的 Amazon Glue 作业时，Amazon Glue Studio 将使用作业配置中的 --extra-py-files 参数将这些转换包含在运行时环境中。有关任务参数的更多信息，请参阅 在 Amazon Glue 作业中使用作业参数。对生成的脚本或运行时环境进行更改时，需要保留此作业配置以确保脚本的成功运行。

Amazon Glue 中已提供的 Python 模块

要更改这些已提供模块的版本，请使用 --additional-python-modules 作业参数提供新版本。

压缩库以用于包含

除非库包含在单个 .py 文件中，否则它应打包到 .zip 存档中。包目录应该位于存档文件的根部，并且必须包含一个针对该包的 __init__.py 文件。然后，Python 将能够以正常方式导入包。

如果您的库仅在一个 .py 文件中包含单个 Python 模块，您无需将其放入 .zip 文件。

加载 Amazon Glue Studio 笔记本中的 Python 库

要在 Amazon Glue Studio 笔记本中指定 Python 库，请参阅 Installing additional Python modules。

在开发终端节点中加载 Python 库

如果对不同的 ETL 脚本使用不同的库集，则可以为每个集设置单独的开发终端节点，也可以覆盖每次您切换脚本时开发终端节点加载的库 .zip 文件。

在创建开发终端节点时，您可以使用控制台为其指定一个或多个库 .zip 文件。在分配名称和 IAM 角色后，请选择 Script Libraries and job parameters (optional) (脚本库和任务参数（可选）)，然后在 Python library path (脚本库路径) 框中输入库 .zip 文件的完整 Amazon S3 路径。例如：

s3://bucket/prefix/site-packages.zip

如果需要，您可以指定文件的多个完整路径并使用逗号分隔，但不能有空格，如下所示：

s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip

如果您更新这些 .zip 文件，则可以使用控制台将其重新导入到您的开发终端节点。导航到所涉开发人员终端节点，选中它旁边的框，然后从 Action 菜单中选择 Update ETL libraries。

类似地，您可以使用 Amazon Glue API 指定库文件。当您通过调用 CreateDevEndpoint 操作（Python：create_dev_endpoint） 创建开发终端节点时，可以通过如下所示的调用在 ExtraPythonLibsS3Path 参数中指定库的一个或多个完整路径：

dep = glue.create_dev_endpoint(
             EndpointName="testDevEndpoint",
             RoleArn="arn:aws:iam::123456789012",
             SecurityGroupIds="sg-7f5ad1ff",
             SubnetId="subnet-c12fdba4",
             PublicKey="ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCtp04H/y...",
             NumberOfNodes=3,
             ExtraPythonLibsS3Path="s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip")

当您更新一个开发终端节点时，还可以通过在调用 UpdateDevEndpoint (update_dev_endpoint) 时使用 DevEndpointCustomLibraries 对象并将 UpdateEtlLibraries 参数设置为 True 来更新它所加载的库。

在作业或作业运行中使用 Python 库

当您在控制台上创建新任务时，可以通过选择 Script Libraries and job parameters (optional) (脚本库和任务参数 (可选)) 并输入完整的 Amazon S3 库路径来指定一个或多个库 .zip 格式文件（方法与创建开发终端节点时相同）：

s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip

如果您正在调用 CreateJob (create_job)，则可以使用 --extra-py-files 默认参数指定默认库的一个或多个完整路径，如下所示：

job = glue.create_job(Name='sampleJob',
                      Role='Glue_DefaultRole',
                      Command={'Name': 'glueetl',
                               'ScriptLocation': 's3://my_script_bucket/scripts/my_etl_script.py'},
                      DefaultArguments={'--extra-py-files': 's3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip'})

然后，当您启动作业运行时，可以使用其他设置覆盖默认库设置：

runId = glue.start_job_run(JobName='sampleJob',
                           Arguments={'--extra-py-files': 's3://bucket/prefix/lib_B.zip'})