要获得与亚马逊 Timestream 类似的功能 LiveAnalytics,可以考虑适用于 InfluxDB 的亚马逊 Timestream。适用于 InfluxDB 的 Amazon Timestream 提供简化的数据摄取和个位数毫秒级的查询响应时间,以实现实时分析。点击此处了解更多信息。
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
批量加载最佳实践
当满足以下条件和建议时,批量加载效果最佳(高吞吐量):
-
提交用于摄取的 CSV 文件应保持较小大小,具体而言,文件大小应控制在 100MB 至 1GB 之间,以提高摄取过程的并行处理能力和速度。
-
在批量加载过程中,避免将数据同时提取到同一个表中(例如使用 WriteRecords API 操作或计划查询)。这可能会导致节流,且导致批量加载任务失败。
-
在批量加载任务运行期间,请勿向用于批量加载的 S3 存储桶添加、修改或删除文件。
-
请勿删除或撤销表或源的权限,也请勿报告已计划或正在进行批量加载任务的 S3 存储桶。
-
摄取具有高基数维度值集的数据时,请按照 对多度量记录进行分区的建议 中的指南操作。
-
确保通过提交小文件测试数据的正确性。无论数据是否正确,提交到批量加载的任何数据都将产生费用。有关定价的更多信息,请参阅 Amazon Timestream 定价
。 -
除非
ActiveMagneticStorePartitions低于 250,否则不要恢复批量加载任务。作业可能会受到限制并导致失败。对于同一数据库,如果同时提交多个作业,应减少作业数量。
以下是控制台最佳实践:
-
仅使用生成器进行更简单的数据建模,即多度量记录仅使用一个度量名称。
-
对于更复杂的数据建模,请使用 JSON。例如,在使用多度量记录时,如果涉及多个度量名称,请使用 JSON。
有关 LiveAnalytics 最佳实践的更多信息 Timestream,请参阅最佳实践。