本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
第 2 步:准备数据
准备源数据以进行高效传输是一个两步过程。首先,对数据进行随机化。在第二步中,您将分析数据以确定适当的cqlsh
参数值和必需的表设置。
随机化数据
这些区域有:cqlsh COPY FROM
命令读取和写入数据的顺序与数据在 CSV 文件中显示的顺序相同。如果您将cqlsh COPY TO
命令来创建源文件,则在 CSV 中按键排序顺序写入数据。在内部,亚马逊Keyspaces 使用分区键对数据进行分区。尽管 Amazon Keyspaces 具有内置逻辑来帮助对同一个分区键的请求进行负载均衡,但如果您随机排列顺序,加载数据会更快、更高效。这是因为您可以利用 Amazon Keyspaces 写入不同分区时发生的内置负载均衡功能。
要在各分区之间均匀分布写入,必须随机化源文件中的数据。您可以编写应用程序来执行此操作,也可以使用开源工具,例如Shuf
要在保留标头的同时随机化源文件,请输入以下代码。
tail -n +2
keyspaces_sample_table.csv
| shuf -okeyspace.table.csv
&& (head -1keyspaces_sample_table.csv
&& cat keyspace.table.csv ) >keyspace.table.csv1
&& mvkeyspace.table.csv1
keyspace.table.csv
Shuf 将数据重写为一个名为的新 CSV 文件keyspace.table.csv
. 您现在可以删除keyspaces_sample_table.csv
文件-您不再需要它。
分析数据
通过分析数据确定平均行大小和最大行大小。
您这样做的原因如下:
-
平均行大小有助于估计要传输的数据总量。
-
您需要平均行大小来预置数据上传所需的写入容量。
-
您可以确保每行的大小小于 1 MB,这是 Amazon Keyspaces 中的最大行大小。
注意
此配额是指行大小,而不是分区大小。与 Apache Cassandra 分区不同,Amazon Keyspaces 分区的大小实际上可以解除绑定。分区键和聚类列需要额外的元数据存储空间,您必须将其添加到行的原始大小中。有关更多信息,请参阅 计算亚马逊 Keyspaces 中的行大小。
以下代码使用AWK
awk -F, 'BEGIN {samp=10000;max=-1;}{if(NR>1){len=length($0);t+=len;avg=t/NR;max=(len>max ? len : max)}}NR==samp{exit}END{printf("{lines: %d, average: %d bytes, max: %d bytes}\n",NR,avg,max);}'
keyspace.table.csv
运行此代码将生成以下输出。
using 10,000 samples: {lines: 10000, avg: 123 bytes, max: 225 bytes}
在本教程的下一步中,您将使用平均行大小来预置表的写入容量。