加密爬网程序、作业和开发终端节点写入的数据 - AWS Glue
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

加密爬网程序、作业和开发终端节点写入的数据

安全配置 是 AWS Glue 可以使用的一组安全属性。您可以使用安全配置加密静态数据。以下方案展示了一些您可以使用安全配置的方法。

  • 将安全配置添加到 AWS Glue 爬网程序以写入加密的 Amazon CloudWatch Logs。

  • 将安全配置附加到提取、转换和加载 (ETL) 作业以写入加密的 Amazon Simple Storage Service (Amazon S3) 目标和加密的 CloudWatch Logs。

  • 将安全配置添加到 ETL 作业,以将其作业书签作为加密 Amazon S3 数据写入。

  • 将安全配置附加到开发终端节点以写入加密的 Amazon S3 目标。

重要

目前,安全配置会覆盖任何作为 ETL 作业参数传递的服务器端加密 (SSE-S3) 设置。因此,如果安全配置和 SSE-S3 参数都与作业关联,则忽略 SSE-S3 参数。

有关安全配置的更多信息,请参阅在 AWS Glue 控制台上处理安全配置

将 AWS Glue 设置为使用安全配置

请按照以下步骤设置您的 AWS Glue 环境以使用安全配置。

  1. 创建或更新您的 AWS Key Management Service (AWS KMS) 密钥以向 AWS KMS 角色授予 IAM 权限,这些角色将传递给 AWS Glue 爬网程序和作业以加密 CloudWatch Logs。有关更多信息,请参阅 中的CloudWatch Logs使用 AWS KMS 加密 中的日志数据。Amazon CloudWatch Logs User Guide

    在以下示例中,"role1", "role2", 和 "role3" 是传递给爬网程序和作业的 IAM 角色。

    { "Effect": "Allow", "Principal": { "Service": "logs.region.amazonaws.com", "AWS": [ "role1", "role2", "role3" ] }, "Action": [ "kms:Encrypt*", "kms:Decrypt*", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:Describe*" ], "Resource": "*" }

    如果您使用此密钥加密 CloudWatch Logs,则需要 Service 语句(显示为 "Service": "logs.region.amazonaws.com")。

  2. 确保 AWS KMS 密钥为 ENABLED,然后才可使用。

  3. 确保 AWS Glue 作业包含以下代码,以使安全设置生效。

    job = Job(glueContext) job.init(args['JOB_NAME'], args)

为 VPC 作业和爬网程序创建到 AWS KMS 的路由

您可以通过 Virtual Private Cloud (VPC) 中的私有终端节点直接连接到 AWS KMS,而不是通过互联网连接。当您使用 VPC 终端节点时,您的 VPC 和 AWS KMS 之间的通信完全在 AWS 网络内进行。

您可以在 VPC 中创建 AWS KMS VPC 终端节点。如果没有此步骤,您的作业或爬网程序可能在作业上有 kms timeout 失败,或者在爬网程序上有 internal service exception 失败。有关详细说明,请参阅 AWS KMS 中的通过 VPC 终端节点连接到 。AWS Key Management Service Developer Guide

当您按照以下说明操作时,在 VPC 控制台上,您必须执行以下操作:

  • 选择 Enable Private DNS name (启用私有 DNS 名称)

  • 选择 Security group (安全组)(带自引用规则),此安全组将用于访问 Java 数据库连接 (JDBC) 的任务或爬网程序。有关 AWS Glue 连接的更多信息,请参阅 在 AWS Glue Data Catalog 中定义连接

当您将安全配置添加到访问 JDBC 数据存储的爬网程序或任务时,AWS Glue 必须具有到 AWS KMS 终端节点的路由。您可以使用网络地址转换 (NAT) 网关或 AWS KMS VPC 终端节点提供路由。要创建 NAT 网关,请参阅 https://docs.amazonaws.cn/AmazonVPC/latest/UserGuide/vpc-nat-gateway.html 中的 NAT 网关Amazon VPC 用户指南。