Amazon Athena Amazon CMDB 连接器 - Amazon Athena
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

Amazon Athena Amazon CMDB 连接器

使用 Amazon Athena Amazon CMDB 连接器使 Athena 可以与各种 Amazon 服务通信,以便您可以使用 SQL 查询这些服务。

先决条件

参数

使用本节中的 Lambda 环境变量来配置 Amazon CMDB 连接器。

  • spill_bucket - 为超出 Lambda 函数限制的数据指定 Amazon S3 存储桶。

  • spill_prefix -(可选)默认为指定 spill_bucket(称为 athena-federation-spill)中的子文件夹。我们建议您在此位置配置 Amazon S3 存储生命周期,以删除早于预定天数或小时数的溢出内容。

  • spill_put_request_headers —(可选)用于溢出的 Amazon S3 putObject 请求的请求标头和值的 JSON 编码映射(例如 {"x-amz-server-side-encryption" : "AES256"})。有关其他可能的标头,请参阅《Amazon Simple Storage Service API 参考》中的 PutObject

  • kms_key_id -(可选)默认情况下,将使用经过 AES-GCM 身份验证的加密模式和随机生成的密钥对溢出到 Amazon S3 的任何数据进行加密。要让您的 Lambda 函数使用 KMS 生成的更强的加密密钥(如 a7e63k4b-8loc-40db-a2a1-4d0en2cd8331),您可以指定 KMS 密钥 ID。

  • disable_spill_encryption -(可选)当设置为 True 时,将禁用溢出加密。默认值为 False,此时将使用 AES-GCM 对溢出到 S3 的数据使用进行加密 - 使用随机生成的密钥,或者使用 KMS 生成密钥。禁用溢出加密可以提高性能,尤其是当您的溢出位置使用服务器端加密时。

  • default_ec2_image_owner –(可选)设置后,控制筛选 Amazon 机器映像 (AMI) 的默认 Amazon EC2 映像所有者。如果您未设置此值,并且您对 EC2 映像表的查询不包含所有者筛选条件,则您的结果将包括所有公有映像。

数据库和表

Athena Amazon CMDB 连接器使以下数据库和表可用于查询您的 Amazon 资源清单。有关每个表中可用列的更多信息,请使用 Athena 控制台或 API 运行 DESCRIBE database.table 语句。

  • ec2 - 该数据库包含 Amazon EC2 相关资源,包括以下内容。

  • ebs_volumes - 包含您的 Amazon EBS 卷的详细信息。

  • ec2_instances - 包含您的 EC2 实例的详细信息。

  • ec2_images - 包含您的 EC2 实例映像的详细信息。

  • routing_tables - 包含您的 VPC 路由表的详细信息。

  • security_groups - 包含您的安全组的详细信息。

  • 子网 - 包含您的 VPC 子网的详细信息。

  • vpcs - 包含您的 VPC 的详细信息。

  • emr - 该数据库包含 Amazon EMR 相关资源,包括以下内容。

  • emr_clusters - 包含您的 EMR 集群的详细信息。

  • rds - 该数据库包含 Amazon RDS 相关资源,包括以下内容。

  • rds_instances - 包含您的 RDS 实例的详细信息。

  • s3 - 该数据库包含 RDS 相关资源,包括以下内容。

  • - 包含您的 Amazon S3 存储桶的详细信息。

  • 对象 - 包含您的 Amazon S3 对象(不包括其内容)的详细信息。

所需权限

要获取有关此连接器所需 IAM policy 的完整详细信息,请查看 athena-aws-cmdb.yaml 文件的 Policies 部分。以下列表汇总了所需的权限。

  • Amazon S3 写入权限 – 连接器需要对 Amazon S3 中的位置具有写入权限,以溢出大型查询的结果。

  • Athena GetQueryExecution – 当上游 Athena 查询终止时,该连接器将使用此权限快速失败。

  • S3 清单 - 连接器使用此权限列出您的 Amazon S3 存储桶和对象。

  • EC2 描述 - 连接器使用此权限来描述资源,例如您的 Amazon EC2 实例、安全组、VPC 和 Amazon EBS 卷。

  • EMR 描述/列表 - 连接器使用此权限来描述您的 EMR 集群。

  • RDS 描述 - 连接器使用此权限来描述您的 RDS 实例。

Performance

目前,Athena Amazon CMDB 连接器不支持并行扫描。谓词下推在 Lambda 函数中执行。在可能的情况下,部分谓词会被推送到正在查询的服务。例如,查询特定 Amazon EC2 实例的详细信息会调用具有特定实例 ID 的 EC2 API 来运行目标描述操作。

许可证信息

Amazon Athena Amazon CMDB 连接器项目已获得 Apache-2.0 许可证授权。

另请参阅

有关此连接器的更多信息,请访问 GitHub.com 上的相应站点