加密爬网程序、作业和开发终端节点写入的数据 - Amazon连接词
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

加密爬网程序、作业和开发终端节点写入的数据

安全配置 是 Amazon Glue 可以使用的一组安全属性。您可以使用安全配置加密静态数据。以下方案展示了一些可用来使用安全配置的方法。

  • 将安全配置附加到Amazon Glue抓取程序来编写加密的 Amazon CloudWatch Logs。

  • 将安全配置附加到提取、转换和加载 (ETL) 作业,以写入加密的 Amazon Simple Storage Service (Amazon S3) 目标和加密的 CloudWatch Logs。

  • 将安全配置附加到 ETL 作业,以将其作业书签作为加密的 Amazon S3 数据写入。

  • 将安全配置附加到开发终端节点以写入加密的 Amazon S3 目标。

重要

目前,安全配置会覆盖作为 ETL 作业参数传递的任何服务器端加密 (SSE-S3) 设置。因此,如果安全配置和 SSE-S3 参数都与作业关联,则忽略 SSE-S3 参数。

有关安全配置的更多信息,请参阅在 Amazon Glue 控制台上处理安全配置

将 Amazon Glue 设置为使用安全配置

请按照以下步骤设置您的 Amazon Glue 环境以使用安全配置。

  1. 创建或更新您的Amazon Key Management Service(Amazon KMS) 键授予Amazon KMS权限传递给 IAM 角色Amazon Glue抓取程序和作业来加密 CloudWatch Logs。有关更多信息,请参阅 。使用加密 CloudWatch Logs 中的日志数据Amazon KMS中的Amazon CloudWatch Logs 用户指南

    在下面的示例中,“角色 1“角色 2, 和“角色 3”是传递给爬虫程序和作业的 IAM 角色。

    { "Effect": "Allow", "Principal": { "Service": "logs.region.amazonaws.com", "AWS": [ "role1", "role2", "role3" ] }, "Action": [ "kms:Encrypt*", "kms:Decrypt*", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:Describe*" ], "Resource": "*" }

    这些区域有:Service语句,显示为"Service": "logs.region.amazonaws.com",如果您使用密钥加密 CloudWatch Logs,则需要。

  2. 确保 Amazon KMS 密钥为 ENABLED,然后才可使用。

  3. 确保Amazon Glue作业包含以下代码,以使安全设置生效。

    job = Job(glueContext) job.init(args['JOB_NAME'], args)

为 VPC 作业和爬网程序创建到 Amazon KMS 的路由

您可以通过 Virtual Private Cloud (VPC) 中的私有终端节点直接连接到 Amazon KMS,而不是通过互联网连接。当您使用 VPC 终端节点时,您的 VPC 和 Amazon KMS 之间的通信完全在 Amazon 网络内进行。

您可以在 VPC 中创建 Amazon KMS VPC 终端节点。如果没有此步骤,您的作业或抓取程序可能会失败,并显示kms timeout上的作业或internal service exception在爬虫上。有关详细说明,请参阅连接到Amazon KMS通过 VPC 终端节点中的Amazon Key Management Service开发人员指南

当您按照以下说明操作时,在 VPC 控制台上,您必须执行以下操作:

  • Select启用私有 DNS 名称

  • 选择 Security group (安全组)(带自引用规则),此安全组将用于访问 Java 数据库连接 (JDBC) 的任务或爬网程序。有关 Amazon Glue 连接的更多信息,请参阅 在 中定义连接Amazon Glue数据目录

当您将安全配置添加到访问 JDBC 数据存储的爬网程序或任务时,Amazon Glue 必须具有到 Amazon KMS 终端节点的路由。您可以使用网络地址转换 (NAT) 网关或 Amazon KMS VPC 终端节点提供路由。要创建 NAT 网关,请参阅NAT 网关中的Amazon VPC 用户指南