开发终端节点 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

开发终端节点

开发终端节点是可用于开发和测试您的 Amazon Glue 脚本的环境。您可以使用 Amazon Glue 创建、编辑和删除开发终端节点。您可以列出所有已创建的开发端点。您可以添加、删除或轮换开发终端节点的 SSH 密钥。您还可以创建使用开发终端节点的笔记本。

您提供配置值以预置开发环境。这些值告知 Amazon Glue 如何设置网络,以便您可以安全地访问开发终端节点,并且您的端点可以访问您的数据存储。然后,您可以创建连接到开发终端节点的笔记本。您可以使用笔记本编写和测试 ETL 脚本。

选择一个 Amazon Identity and Access Management(IAM)角色,该角色与您用于运行 Amazon Glue ETL 任务的 IAM 角色具有相似的权限。使用 Virtual Private Cloud(VPC)、子网和安全组创建可以安全地连接到您的数据资源的开发终端节点。您可以生成一个 SSH 密钥对,以使用 SSH 连接到开发环境。

您可以使用 JDBC 在用于访问数据集的 VPC 中为 Amazon S3 数据创建开发终端节点。

您可以在本地计算机上安装 Jupyter notebook,并使用它在开发端点上调试和测试 ETL 脚本。或者,您可以使用 Sagemaker 笔记本在 Amazon 上的 JupyterLab 中编写 ETL 脚本。请参阅将 SageMaker 笔记本与您的开发端点结合使用

Amazon Glue 使用前缀为 aws-glue-dev-endpoint 的名称标记 Amazon EC2 实例。

您可以在开发端点上设置笔记本服务器,以运行具有 Amazon Glue 扩展的 PySpark。