为开发终端节点启用 Apache Spark Web UI - AWS Glue
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

如果我们为英文版本指南提供翻译,那么如果存在任何冲突,将以英文版本指南为准。在提供翻译时使用机器翻译。

为开发终端节点启用 Apache Spark Web UI

可使用 Apache Spark Web UI 监控和调试在 AWS Glue 开发终端节点上运行的 Spark 应用程序。您可以使用 AWS Glue 控制台或 AWS Command Line Interface (AWS CLI) 通过 Spark Web UI 配置开发终端节点。

启用 Spark UI(控制台)

执行以下步骤以使用 AWS 管理控制台配置 Spark UI。

创建开发终端节点并启用 Spark UI

  1. 通过以下网址登录 AWS 管理控制台并打开 AWS Glue 控制台:https://console.amazonaws.cn/glue/

  2. 在导航窗格中,选择 Dev endpoints (开发终端节点)

  3. 选择 Add endpoint (添加终端节点)。

  4. Configuration (配置) 中,打开 Spark UI options (Spark UI 选项)

  5. Spark UI 选项卡中,选择 Enable (启用)

  6. 指定用于存储 Spark 事件日志的 Amazon S3 路径。

启用 Spark UI (AWS CLI)

要创建开发终端节点并使用 AWS CLI 启用 Spark UI,请在 JSON 语法中传入以下参数。

{ "EndpointName": "Name", "RoleArn": "role_ARN", "PublicKey": "public_key_contents", "NumberOfNodes": 2, "Arguments": { "--enable-spark-ui": "true", "--spark-event-logs-path": "s3://s3-event-log-path" } }