加密爬网程序、作业和开发终端节点写入的数据 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

加密爬网程序、作业和开发终端节点写入的数据

安全配置是 Amazon Glue 可以使用的一组安全属性。您可以使用安全配置加密静态数据。以下场景显示了使用安全配置的一些方法。

  • 将安全配置附加到 Amazon Glue 爬网程序以写入加密的 Amazon CloudWatch Logs。

  • 将安全配置附加到提取、转换和加载(ETL)任务以写入加密的 Amazon Simple Storage Service(Amazon S3)目标和加密的 CloudWatch Logs。

  • 将安全配置附加到 ETL 任务以将其任务书签作为加密 Amazon S3 数据写入。

  • 将安全配置附加到开发终端节点以写入加密的 Amazon S3 目标。

重要

目前,安全配置会覆盖作为 ETL 任务参数传递的任何服务器端加密(SSE-S3)设置。因此,如果安全配置和 SSE-S3 参数都与作业关联,则忽略 SSE-S3 参数。

有关安全配置的更多信息,请参阅 在 Amazon Glue 控制台上处理安全配置

将 Amazon Glue 设置为使用安全配置

请按照以下步骤设置您的 Amazon Glue 环境以使用安全配置。

  1. 创建或更新您的 Amazon Key Management Service(Amazon KMS)密钥,向传递到 Amazon Glue 爬网程序和任务的 IAM 角色授予 Amazon KMS 权限以加密 CloudWatch Logs。有关更多信息,请参阅 Amazon CloudWatch Logs 用户指南中的使用 Amazon KMS 更改 CloudWatch Logs 中的日志数据

    在下面的示例中,"role1""role2""role3" 是传递到爬网程序和任务的 IAM 角色。

    { "Effect": "Allow", "Principal": { "Service": "logs.region.amazonaws.com", "AWS": [ "role1", "role2", "role3" ] }, "Action": [ "kms:Encrypt*", "kms:Decrypt*", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:Describe*" ], "Resource": "*" }

    如果您使用此密钥加密 CloudWatch Logs,则需要 Service 语句(显示为 "Service": "logs.region.amazonaws.com")。

  2. 确保 Amazon KMS 密钥为 ENABLED,然后才可使用。

  3. 确保 Amazon Glue 任务包含以下代码,以使安全设置生效。

    job = Job(glueContext) job.init(args['JOB_NAME'], args)

为 VPC 作业和爬网程序创建到 Amazon KMS 的路由

您可以通过 Virtual Private Cloud (VPC) 中的私有终端节点直接连接到 Amazon KMS,而不是通过互联网连接。当您使用 VPC 终端节点时,您的 VPC 和 Amazon KMS 之间的通信完全在 Amazon 网络内进行。

您可以在 VPC 中创建 Amazon KMS VPC 终端节点。如果没有此步骤,您的任务或爬网程序可能会失败,任务上具有 kms timeout 或爬网程序上具有 internal service exception。有关详细说明,请参阅 Amazon Key Management Service 开发人员指南中的通过 VPC 终端节点连接到 Amazon KMS

当您按照以下说明操作时,在 VPC 控制台上,您必须执行以下操作:

  • 选择 Enable Private DNS name (启用私有 DNS 名称)

  • 选择 Security group (安全组)(带自引用规则),此安全组将用于访问 Java 数据库连接 (JDBC) 的任务或爬网程序。有关 Amazon Glue 连接的更多信息,请参阅 定义 Amazon Glue 数据目录中的连接

当您将安全配置添加到访问 JDBC 数据存储的爬网程序或任务时,Amazon Glue 必须具有到 Amazon KMS 终端节点的路由。您可以使用网络地址转换 (NAT) 网关或 Amazon KMS VPC 终端节点提供路由。要创建 NAT 网关,请参阅 Amazon VPC 用户指南中的 NAT 网关