为开发终端节点启用 Apache Spark Web UI - AWS Glue
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

为开发终端节点启用 Apache Spark Web UI

可使用 Apache Spark Web UI 监控和调试在 AWS Glue 开发终端节点上运行的 Spark 应用程序。您可以使用 AWS Glue 控制台或 AWS Command Line Interface (AWS CLI) 通过 Spark Web UI 配置开发终端节点。

启用 Spark UI(控制台)

执行以下步骤以使用 AWS 管理控制台配置 Spark UI。

创建开发终端节点并启用 Spark UI

  1. 登录 AWS 管理控制台,并通过以下网址打开 AWS Glue 控制台:https://console.amazonaws.cn/glue/

  2. 在导航窗格中,选择 Dev endpoints (开发终端节点)

  3. 选择 Add endpoint (添加终端节点)。

  4. Configuration (配置) 中,打开 Spark UI options (Spark UI 选项)

  5. Spark UI 选项卡中,选择 Enable (启用)

  6. 指定用于存储 Spark 事件日志的 Amazon S3 路径。

启用 Spark UI (AWS CLI)

要创建开发终端节点并使用 AWS CLI 启用 Spark UI,请在 JSON 语法中传入以下参数。

{ "EndpointName": "Name", "RoleArn": "role_ARN", "PublicKey": "public_key_contents", "NumberOfNodes": 2, "Arguments": { "--enable-spark-ui": "true", "--spark-event-logs-path": "s3://s3-event-log-path" } }