Encrypting Data Written by Crawlers, Jobs, and Development Endpoints - AWS Glue
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

如果我们为英文版本指南提供翻译,那么如果存在任何冲突,将以英文版本指南为准。在提供翻译时使用机器翻译。

Encrypting Data Written by Crawlers, Jobs, and Development Endpoints

A security configuration 是一组可以使用的安全性能 AWS Glue. 您可以使用安全配置加密静态数据。以下情景显示了您可以使用安全配置的一些方法。

  • Attach a security configuration to an AWS Glue crawler to write encrypted Amazon CloudWatch Logs.

  • Attach a security configuration to an extract, transform, and load (ETL) job to write encrypted Amazon Simple Storage Service (Amazon S3) targets and encrypted CloudWatch Logs.

  • Attach a security configuration to an ETL job to write its jobs bookmarks as encrypted Amazon S3 data.

  • Attach a security configuration to a development endpoint to write encrypted Amazon S3 targets.

重要

目前,安全配置覆盖作为ETL作业参数传递的任何服务器端加密(SSE-S3)设置。因此,如果安全配置和 SSE-S3 参数都与作业关联,则忽略 SSE-S3 参数。

有关安全配置的更多信息,请参阅 在 AWS Glue 控制台上处理安全配置.

Setting Up AWS Glue to Use Security Configurations

请按照以下步骤设置您的 AWS Glue 环境以使用安全配置。

  1. 创建或更新您的 AWS Key Management Service (AWS KMS)授予的密钥 AWS KMS 权限 IAM 传递至 AWS Glue 要加密的爬行器和作业 CloudWatch Logs. 有关详细信息,请参阅 对日志数据进行加密 CloudWatch Logs 使用AWSKMSAmazon CloudWatch Logs User Guide.

    在以下示例中,"role1", "role2"、、 和 。"role3" 是 IAM 传递到爬行器和作业的角色。

    { "Effect": "Allow", "Principal": { "Service": "logs.region.amazonaws.com", "AWS": [ "role1", "role2", "role3" ] }, "Action": [ "kms:Encrypt*", "kms:Decrypt*", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:Describe*" ], "Resource": "*" }

    如果您使用此密钥加密 CloudWatch Logs,则需要 Service 语句(显示为 "Service": "logs.region.amazonaws.com")。

  2. 确保 AWS KMS 密钥为 ENABLED,然后才可使用。

  3. 确保 AWS Glue 作业包含以下代码,以使安全设置生效:

    job = Job(glueContext) job.init(args['JOB_NAME'], args)

Creating a Route to AWS KMS for VPC Jobs and Crawlers

您可以通过 Virtual Private Cloud (VPC) 中的私有终端节点直接连接到 AWS KMS,而不是通过互联网连接。当您使用 VPC 终端节点时,您的 VPC 和 AWS KMS 之间的通信完全在 AWS 网络内进行。

您可以在 VPC 中创建 AWS KMS VPC 终端节点。如果没有此步骤,您的工作或爬行器可能会失败 kms timeout 就职或 internal service exception 在爬行器上。有关详细说明,请参阅 连接至 AWS KMS 通过VPC端点AWS Key Management Service Developer Guide.

当您按照以下说明操作时,在 VPC 控制台上,您必须执行以下操作:

  • Select Enable Private DNS name.

  • Choose the Security group (with self-referencing rule) that you use for your job or crawler that accesses Java Database Connectivity (JDBC). For more information about AWS Glue connections, see 在 AWS Glue Data Catalog 中定义连接.

当您将安全配置添加到访问 JDBC 数据存储的爬网程序或任务时,AWS Glue 必须具有到 AWS KMS 终端节点的路由。您可以使用网络地址转换 (NAT) 网关或 AWS KMS VPC 终端节点提供路由。要创建NAT网关,请参阅 NAT网关Amazon VPC 用户指南.