本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
开始使用 Amazon Glue 交互式会话
这些部分描述了如何运行 Amazon Glue 本地互动会话。
在本地设置交互式会话的先决条件
以下是安装交互式会话的先决条件:
-
支持的 Python 版本为 3.6 - 3.10+。
-
有关 MacOS/Linux 和 Windows 的说明请参阅以下部分。
安装 Jupyter 和 Amazon Glue 交互式会话 Jupyter 内核
使用以下命令在本地安装内核。
命令 install-glue-kernels
安装适用于 pyspark 和 spark 内核的 jupyter kernelspec,并在正确的目录中安装徽标。
pip3 install --upgrade jupyter boto3 aws-glue-sessions
install-glue-kernels
运行 Jupyter
要运行 Jupyter Notebook,请完成以下步骤。
-
运行以下命令以启动 Jupyter Notebook。
jupyter notebook
-
选择 “新建”,然后选择其中一个 Amazon Glue 开始对内核进行编码 Amazon Glue.
配置会话凭证和区域
MacOS/Linux 说明
Amazon Glue 交互式会话需要的IAM权限与 Amazon Glue 作业和开发端点。通过以下两种方式之一指定与交互式会话搭配使用的角色:
-
使用
%iam_role
和%region
魔术命令 -
在
~/.aws/config
中使用其他行
使用魔术命令配置会话角色
在第一个单元格中,键入执行的第一个单元格中的 %iam_role <YourGlueServiceRole>
。
使用 ~/.aws/config
配置会话角色
Amazon Glue 交互式会话的服务角色可以在笔记本本身中指定,也可以与 Amazon CLI 配置一起存储。如果你有一个通常与之配合使用的角色 Amazon Glue Jobs 这将是那个角色。如果你没有你使用的角色 Amazon Glue jobs,请遵循本指南,为其配置IAM权限 Amazon Glue,来设置一个。
要将此角色设置为交互式会话的默认角色:
-
使用文本编辑器,打开
~/.aws/config
。 -
查找您使用的个人资料 Amazon Glue。 如果您不使用配置文件,请使用
[Default]
配置文件。 -
在配置文件中为您计划使用的角色添加一行,例如
glue_role_arn=<AWSGlueServiceRole>
。 -
[可选]:如果您的配置文件没有默认区域设置,我建议使用
region=us-east-1
添加一个,使用您所需的区域替换us-east-1
。 -
保存配置。
有关更多信息,请参阅 互动会话 IAM。
Windows 说明
Amazon Glue 交互式会话需要的IAM权限与 Amazon Glue 作业和开发端点。通过以下两种方式之一指定与交互式会话搭配使用的角色:
-
使用
%iam_role
和%region
魔术命令 -
在
~/.aws/config
中使用其他行
使用魔术命令配置会话角色
在第一个单元格中,键入执行的第一个单元格中的 %iam_role <YourGlueServiceRole>
。
使用 ~/.aws/config
配置会话角色
Amazon Glue 交互式会话的服务角色可以在笔记本本身中指定,也可以与 Amazon CLI 配置一起存储。如果你有一个通常与之配合使用的角色 Amazon Glue Jobs 这将是那个角色。如果你没有你使用的角色 Amazon Glue jobs,请遵循本指南,为其设置IAM权限 Amazon Glue,来设置一个。
要将此角色设置为交互式会话的默认角色:
-
使用文本编辑器,打开
~/.aws/config
。 -
查找您使用的个人资料 Amazon Glue。 如果您不使用配置文件,请使用
[Default]
配置文件。 -
在配置文件中为您计划使用的角色添加一行,例如
glue_role_arn=<AWSGlueServiceRole>
。 -
[可选]:如果您的配置文件没有默认区域设置,我建议使用
region=us-east-1
添加一个,使用您所需的区域替换us-east-1
。 -
保存配置。
有关更多信息,请参阅 互动会话 IAM。
从交互式会话预览版升级
在与版本 0.27 一起发布时,内核已使用新名称进行了升级。要清理内核的预览版本,请从终端运行以下命令或 PowerShell。
注意
如果你是其他人中的一员 Amazon Glue 需要自定义服务模型的预览版,移除内核将移除自定义服务模型。
# Remove Old Glue Kernels jupyter kernelspec remove glue_python_kernel jupyter kernelspec remove glue_scala_kernel # Remove Custom Model cd ~/.aws/models rm -rf glue/