开发终端节点 - AWS Glue
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

开发终端节点

开发终端节点是可用于开发和测试您的 AWS Glue 脚本的环境。您可以使用 AWS Glue 创建、编辑和删除开发终端节点。控制台上的 Dev Endpoints (开发终端节点) 选项卡列出了创建的所有开发终端节点。AWS Glue您可以添加、删除或轮换开发终端节点的 SSH 密钥。您还可以创建使用开发终端节点的笔记本。

您提供配置值以预置开发环境。这些值告知 AWS Glue 如何设置网络,以便您可以安全地访问开发终端节点,并且您的终端节点可以访问您的数据存储。然后,您可以创建一个连接到开发终端节点的笔记本。您可以使用笔记本编写和测试 ETL 脚本。

使用 AWS Identity and Access Management (IAM) 角色,其权限与您用于运行 IAM ETL 作业的 AWS Glue 角色类似。使用 Virtual Private Cloud (VPC)、子网和安全组来创建可以安全连接到您的数据资源的开发终端节点。您生成 SSH 密钥对以使用 SSH 连接到开发环境。

您可以为 Amazon S3 数据和 VPC 中创建开发终端节点,这些终端节点可用于使用 JDBC 访问数据集。

您可以在本地计算机上安装 Apache Zeppelin 笔记本,并使用它在开发终端节点上调试和测试 ETL 脚本。或者,您可以在 Amazon EC2 实例上托管 Zeppelin 笔记本。笔记本服务器是基于 Web 的环境,可用于运行 PySpark 语句。

AWS Glue 使用前缀为 Amazon EC2 的名称标记 aws-glue-dev-endpoint 实例。

您可以在开发终端节点上设置笔记本服务器,以使用 PySpark 扩展运行 AWS Glue 语句。有关 Zeppelin 笔记本的更多信息,请参阅 Apache Zeppelin