第 1 步:配置 Amazon Keyspaces 以便与 Apache Cassandra Spark Connector 集成 - Amazon Keyspaces(Apache Cassandra 兼容)
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

第 1 步:配置 Amazon Keyspaces 以便与 Apache Cassandra Spark Connector 集成

在本步骤中,您将确认您的账户的分区程序是否与 Apache Spark Connector 兼容,并设置所需的 IAM 权限。以下最佳实践可以帮助您为表预配置足够的读/写容量。

  1. 确认 Murmur3Partitioner 分区程序是您账户的默认分区程序。该分区程序与 Spark Cassandra Connector 兼容。有关分区程序以及如何更改分区程序的更多信息,请参阅使用 Amazon Keyspaces 中的分区程序

  2. 使用 Apache Spark 和接口 VPC 端点为 Amazon Keyspaces 设置 IAM 权限。

    • 分配对用户表的读/写权限和对系统表的读取权限,如下面列出的 IAM 策略示例所示。

    • 使用 Spark 通过 VPC 端点访问 Amazon Keyspaces 的客户端需要在 system.peers 表中填充您的可用接口 VPC 端点

    { "Version":"2012-10-17", "Statement":[ { "Effect":"Allow", "Action":[ "cassandra:Select", "cassandra:Modify" ], "Resource":[ "arn:aws:cassandra:us-east-1:111122223333:/keyspace/mykeyspace/table/mytable", "arn:aws:cassandra:us-east-1:111122223333:/keyspace/system*" ] }, { "Sid":"ListVPCEndpoints", "Effect":"Allow", "Action":[ "ec2:DescribeNetworkInterfaces", "ec2:DescribeVpcEndpoints" ], "Resource":"*" } ] }
  3. 请考虑以下最佳实践,为您的 Amazon Keyspaces 表配置足够的读/写吞吐容量,以支持来自 Spark Cassandra Connector 的流量。