批量加载最佳实践 - Amazon Timestream
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

要获得与亚马逊 Timestream 类似的功能 LiveAnalytics,可以考虑适用于 InfluxDB 的亚马逊 Timestream。适用于 InfluxDB 的 Amazon Timestream 提供简化的数据摄取和个位数毫秒级的查询响应时间,以实现实时分析。点击此处了解更多信息。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

批量加载最佳实践

当满足以下条件和建议时,批量加载效果最佳(高吞吐量):

  1. 提交用于摄取的 CSV 文件应保持较小大小,具体而言,文件大小应控制在 100MB 至 1GB 之间,以提高摄取过程的并行处理能力和速度。

  2. 在批量加载过程中,避免将数据同时提取到同一个表中(例如使用 WriteRecords API 操作或计划查询)。这可能会导致节流,且导致批量加载任务失败。

  3. 在批量加载任务运行期间,请勿向用于批量加载的 S3 存储桶添加、修改或删除文件。

  4. 请勿删除或撤销表或源的权限,也请勿报告已计划或正在进行批量加载任务的 S3 存储桶。

  5. 摄取具有高基数维度值集的数据时,请按照 对多度量记录进行分区的建议 中的指南操作。

  6. 确保通过提交小文件测试数据的正确性。无论数据是否正确,提交到批量加载的任何数据都将产生费用。有关定价的更多信息,请参阅 Amazon Timestream 定价

  7. 除非 ActiveMagneticStorePartitions 低于 250,否则不要恢复批量加载任务。作业可能会受到限制并导致失败。对于同一数据库,如果同时提交多个作业,应减少作业数量。

以下是控制台最佳实践:

  1. 仅使用生成器进行更简单的数据建模,即多度量记录仅使用一个度量名称。

  2. 对于更复杂的数据建模,请使用 JSON。例如,在使用多度量记录时,如果涉及多个度量名称,请使用 JSON。

有关 LiveAnalytics 最佳实践的更多信息 Timestream,请参阅最佳实践