为开发终端节点启用 Apache Spark Web UI - Amazon连接词
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

为开发终端节点启用 Apache Spark Web UI

可使用 Apache Spark Web UI 监控和调试在 Amazon Glue 开发终端节点上运行的 Spark 应用程序。您可以使用 Spark Web UI 配置开发终端节点并使用Amazon Glue控制台或Amazon命令行界面 (AmazonCLI)。

启用 Spark UI(控制台)

执行以下步骤以使用 Amazon Web Services Management Console配置 Spark UI。

创建开发终端节点并启用 Spark UI

  1. 登录到Amazon Web Services Management Console并打开Amazon Glue控制台位于https://console.aws.amazon.com/glue/

  2. 在导航窗格中,选择 Dev endpoints (开发终端节点)

  3. 选择 Add endpoint (添加终端节点)。

  4. Configuration (配置) 中,打开 Spark UI options (Spark UI 选项)

  5. Spark UI 选项卡中,选择 Enable (启用)

  6. 指定用于存储 Spark 事件日志的 Amazon S3 路径。

启用 Spark UI (AmazonCLI)

要创建开发终端节点并使用启用 Spark UIAmazonCLI,请在 JSON 语法中传入以下参数。

{ "EndpointName": "Name", "RoleArn": "role_ARN", "PublicKey": "public_key_contents", "NumberOfNodes": 2, "Arguments": { "--enable-spark-ui": "true", "--spark-event-logs-path": "s3://s3-event-log-path" } }