开发终端节点 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

开发终端节点

开发终端节点是可用于开发和测试您的 Amazon Glue 脚本的环境。您可以使用 Amazon Glue 创建、编辑和删除开发终端节点。Amazon Glue 控制台上的 Dev Endpoints (开发终端节点) 选项卡列出了创建的所有开发终端节点。您可以添加、删除或轮换开发终端节点的 SSH 密钥。您还可以创建使用开发终端节点的笔记本。

您提供配置值以预置开发环境。这些值告知 Amazon Glue 如何设置网络,以便您可以安全地访问开发终端节点,并且您的端点可以访问您的数据存储。然后,您可以创建连接到开发终端节点的笔记本。您可以使用笔记本编写和测试 ETL 脚本。

选择一个 Amazon Identity and Access Management(IAM)角色,该角色与您用于运行 Amazon Glue ETL 任务的 IAM 角色具有相似的权限。使用 Virtual Private Cloud(VPC)、子网和安全组创建可以安全地连接到您的数据资源的开发终端节点。您可以生成一个 SSH 密钥对,以使用 SSH 连接到开发环境。

您可以使用 JDBC 在用于访问数据集的 VPC 中为 Amazon S3 数据创建开发终端节点。

您可以在本地计算机上安装 Apache Zeppelin 笔记本,并使用它在开发终端节点上调试和测试 ETL 脚本。或者,您可以在 Amazon EC2 实例上托管 Zeppelin 笔记本。笔记本服务器是可用于运行 PySpark 语句的基于 Web 的环境。

Amazon Glue 使用前缀为 aws-glue-dev-endpoint 的名称标记 Amazon EC2 实例。

您可以在开发终端节点上设置笔记本服务器,以运行具有 Amazon Glue 扩展的 PySpark 语句。有关 Zeppelin 笔记本的更多信息,请参阅 Apache Zeppelin