第 4 步:配置cqlsh COPY FROM设置 - Amazon Keyspaces(针对 Apache Cassandra)
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

第 4 步:配置cqlsh COPY FROM设置

本部分概述如何确定的参数值cqlsh COPY FROM. 这些区域有:cqlsh COPY FROM命令读取您之前准备好的 CSV 文件,然后使用 CQL 将数据插入到 Amazon Keyspaces 中。该命令将行划分并分发INSERT在一组员工之间进行操作。每个工作人员与亚马逊 Keyspaces 建立连接并发送INSERT这个频道上的请求。

这些区域有:cqlsh COPY命令没有在其工作人员之间平均分配工作的内部逻辑。但是,您可以手动配置它以确保工作均匀分布。首先查看这些关键的 cqlsh 参数:

  • 分隔符— 如果您使用的是逗号以外的分隔符,则可以设置此参数,默认为逗号。

  • 吸收— 目标行数cqlsh COPY FROM每秒尝试处理。如果未设置,则默认为 100,000。

  • NUMPROCESS— cqlsh 为其创建的童工进程的数量COPY FROM任务。此设置的最大值为 16,默认值为num_cores - 1在哪里,num_cores是运行 cqlsh 的主机上的处理内核数。

  • MAXBATCHSIZE批处理大小决定单个批次中插入到目标表的最大行数。如果未设置,cqlsh 将使用 20 个插入的行的批次。

  • 区块大小— 传递给童工的工作单位的大小。默认情况下,它设置为 5,000。

  • 最大尝试— 重试失败的工作程序块的最大次数。达到最大尝试次数后,失败的记录将写入新的 CSV 文件中,您可以在调查失败后再次运行该文件。

SetINGESTRATE基于您为目标目标表预配置的 WCU 的数量。这些区域有:INGESTRATEcqlsh COPY FROM命令不是限制 —— 它是目标平均值。这意味着它可能(而且经常确实)超过你设置的数字。要允许突发并确保有足够的容量来处理数据加载请求,请设置INGESTRATE达到表的写入容量的 90%。

INGESTRATE = WCUs * .90

接下来,设置NUMPROCESSES参数等于系统上的内核数少一个。要了解系统的内核数量是多少,你可以运行以下代码。

python -c "import multiprocessing; print(multiprocessing.cpu_count())"

在本教程中,我们使用以下值。

NUMPROCESSES = 4

每个进程都会创建一个工作人员,每个工作人员都建立与 Amazon Keyspaces 的连接。亚马逊 Keyspaces 在每个连接上每秒最多可支持 3,000 个 CQL 请求。这意味着您必须确保每个工作人员每秒处理的请求少于 3,000 个。

INGESTRATE,工作人员经常超过您设置的数字,并且不受时钟秒限制。因此,为了考虑突发事件,请将 cqlsh 参数设置为针对每个工作人员每秒处理 2,500 个请求。要计算分配给工作人员的工作量,请使用以下指南。

  • DivideINGESTRATE通过NUMPROCESSES.

  • 如果INGESTRATE/NUMPROCESSES > 2,500,降低INGESTRATE为了使这个公式成真。

INGESTRATE / NUMPROCESSES <= 2,500

在配置设置以优化我们的示例数据的上传之前,让我们来查看cqlsh默认设置并了解使用它们如何影响数据上传过程。由于cqlsh COPY FROM使用CHUNKSIZE创建大块工作(INSERT语句)要分发给工作人员,工作不会自动均匀分配。一些工作人员可能会闲置,具体取决于INGESTRATE设置。

要在员工之间均匀分配工作并使每个员工保持每秒 2,500 个最佳请求的速率,您必须设置CHUNKSIZEMAXBATCHSIZE, 和INGESTRATE通过更改输入参数。要在数据加载期间优化网络流量利用率,请选择MAXBATCHSIZE接近 30 的最大值。通过更改为CHUNKSIZE到 100 并且MAXBATCHSIZE到 25 个,10,000 行在四名工人之间均匀分布(10,000 /2500 = 4)。

以下代码示例对此进行了说明。

INGESTRATE = 10,000 NUMPROCESSES = 4 CHUNKSIZE = 100 MAXBATCHSIZE. = 25 Work Distribution: Connection 1 / Worker 1 : 2,500 Requests per second Connection 2 / Worker 2 : 2,500 Requests per second Connection 3 / Worker 3 : 2,500 Requests per second Connection 4 / Worker 4 : 2,500 Requests per second

总而言之,在设置时使用以下公式cqlsh COPY FROM参数:

  • 吸收= write _容量_单位 * .90

  • NUMPROCESS= num_cores -1(默认)

  • 吸收/NUM进程= 2,500(这必须是真实的陈述。)

  • MAXBATCHSIZE= 30(默认值为 20。 亚马逊 Keyspaces 最多可接受 30 个批次。)

  • 区块大小=(输入/NUM进程)/MAXBATCHSIZE

现在你已经计算了NUMPROCESSESINGESTRATE, 和CHUNKSIZE您已准备好加载数据了。