重新处理通道消息 - Amazon IoT Analytics
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

重新处理通道消息

Amazon IoT Analytics使您能够重新处理频道数据。这在以下情况下会很有用:

  • 您希望重放现有已提取的数据,而不是重新开始。

  • 您想要更新管道并希望带来现有数据 up-to-date 随着更改。

  • 您希望包括在更改客户托管存储选项、渠道权限或数据存储之前提取的数据。

参数

当你通过渠道重新处理频道消息时Amazon IoT Analytics,您必须指定以下信息:

StartPipelineReprocessing

通过管道开始重新处理通道消息。

ChannelMessages

指定要重新处理的一组或多组频道消息。

如果您将channelMessages对象,您不得为指定值startTimeendTime.

s3Paths

指定一个或多个密钥,以标识用于保存您的通道消息的 Amazon Simple Storage Service (Amazon S3) 对象。您必须使用密钥的完整路径。

示例路径:00:00:00/1582940490000_1582940520000_123456789012_mychannel_0_2118.0.json.gz

类型: 字符串数组

数组成员约束:1-100 个项目。

长度限制:1-1024 个字符。

endTime

重新处理的通道数据的结束时间(不包括)。

如果为指定值endTime参数,则不能使用channelMessages对象。

类型: 时间戳

startTime

重新处理的原始消息数据的开始时间 (含)。

如果为指定值startTime参数,则不能使用channelMessages对象。

类型: 时间戳

pipelineName

要开始重新处理的管道的名称。

类型: 字符串

长度约束:1-128 个字符。

重新处理通道消息(控制台)

本教程向您展示如何重新处理存储在指定 Amazon S3 对象中的频道数据Amazon IoT Analytics控制台。

在开始之前,请确保要重新处理的渠道消息保存在客户托管的 Amazon S3 存储桶中。

  1. 登录到 Amazon IoT Analytics 控制台

  2. 在导航窗格中,选择管道.

  3. 选择目标管道。

  4. 选择重新处理消息操作.

  5. 在存储库的管道重新处理页面,选择S3 对象为了重新处理消息.

    这些区域有:Amazon IoT Analytics控制台还提供以下选项:

    • 所有可用的范围-重新处理频道中的所有有效数据。

    • Last 120 Days-重新处理过去 120 天内到达的数据。

    • 最近 90 天-重新处理最近 90 天内到达的数据。

    • 最近 30 天-重新处理最近 30 天内到达的数据。

    • 自定义范围-重新处理在指定时间范围内到达的数据。你可以选择任何时间范围。

  6. 输入存储频道消息的 Amazon S3 对象的密钥。

    要查找密钥,请执行以下操作:

    1. 转至Amazon S3 控制台.

    2. 选择目标 Amazon S3 对象。

    3. UNDER属性,在对象概述部分中,复制密钥。

  7. 选择开始再处理.

重新处理频道消息 (API)

当您使用StartPipelineReprocessingAPI,请注意以下几点:

  • 这些区域有:startTimeendTime参数指定提取原始数据的时间,不过这些是粗略估计的时间。您可以舍入到最接近的小时。这些区域有:startTime是包容性的,但endTime是独家的。

  • 该命令异步启动重新处理并立即返回。

  • 不保证重新处理消息的顺序与接收时的顺序相同。这大致相同,但不完全一致。

  • 你最多可以弥补 1000StartPipelineReprocessingAPI 请求每 24 小时通过管道重新处理相同的频道消息。

  • 重新处理原始数据会产生额外的成本。

有关更多信息,请参阅 。StartPipelineReprocessingAPI,在Amazon IoT AnalyticsAPI 参考.

取消渠道再处理活动

要取消管道再处理活动,请使用CancelPipelineReprocessingAPI 或者选择取消重新处理活动中的页面Amazon IoT Analytics控制台。如果取消再处理,剩余的数据将不会被重新处理。你必须开始另一个再处理请求。

使用DescribePipeline查看重新处理的状态的 API。请参阅reprocessingSummaries响应中的字段。