排除将 Spark Cassandra Connector 与 Amazon Keyspaces 配合使用时的常见错误 - Amazon Keyspaces(Apache Cassandra 兼容)
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

排除将 Spark Cassandra Connector 与 Amazon Keyspaces 配合使用时的常见错误

如果您在使用 Amazon Virtual Private Cloud 并连接到 Amazon Keyspaces,则在使用 Spark 连接器时遇到的最常见的错误往往由以下配置问题引起。

有关详细的链接故障排除步骤,请参阅我的VPC端点连接无法正常工作

此外,您还可以使用亚马逊 CloudWatch 指标来帮助您解决亚马逊密钥空间中 Spark Cassandra Connector 配置的问题。要了解有关将 Amazon Keyspaces 与配合使用的更多信息 CloudWatch,请参阅。使用亚马逊监控亚马逊密钥空间 CloudWatch

以下部分介绍了在使用 Spark Cassandra Connector 时需要观察的最有用的指标。

PerConnectionRequestRateExceeded

Amazon Keyspaces 的配额为每个连接每秒 3000 个请求。每个 Spark 执行程序都会与 Amazon Keyspaces 建立连接。多次重试可能会耗尽每个连接的请求速率配额。如果您超过此配额,Amazon Keyspaces 将发布一个PerConnectionRequestRateExceeded指标。 CloudWatch

如果您看到 PerConnectionRequestRateExceeded 事件以及其他系统或用户错误,则可能是 Spark 正在运行多次重试,超出每个连接分配的请求数。

如果您看到 PerConnectionRequestRateExceeded 事件但没有看到其他错误,则您可能需要增加驱动程序设置中的连接数以提高吞吐量,或者可能需要增加 Spark 作业中的执行程序数量。

StoragePartitionThroughputCapacityExceeded

Amazon Keyspaces 的每个分区的配额为 1,000 WCUs 或WRUs每秒/3,000 RCUs 或RRUs每秒。如果您看到StoragePartitionThroughputCapacityExceeded CloudWatch 事件,则可能表明数据在加载时没有随机化。有关如何随机处理数据的示例,请参阅步骤 4:在 Amazon Keyspaces 中准备源数据和目标表

常见错误和警告

如果您在使用 Amazon Virtual Private Cloud 并连接到 Amazon Keyspaces,则 Cassandra 驱动程序可能会在 system.peers 表中发出有关控制节点本身的警告消息。有关更多信息,请参阅 常见错误和警告。您可以放心地忽略这一警告。