Amazon IoT Analytics 不再向新客户提供。的现有客户 Amazon IoT Analytics 可以继续照常使用该服务。了解更多
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
自定义分区
Amazon IoT Analytics 支持数据分区,以便您可以整理数据存储中的数据。使用数据分区来组织数据时,可以查询已清理的数据。这减少了每次查询扫描的数据量并减少了延迟。
您可根据消息数据属性或通过管道活动添加的属性,对数据进行分区。
首先,启用数据存储中的数据分区。指定一个或多个数据分区维度,并将分区后的数据存储连接到 Amazon IoT Analytics 管道。然后,编写利用 WHERE
子句优化性能的查询。
创建数据存储(控制台)
下面的过程演示如何使用自定义分区来创建数据存储。
创建数据存储
-
在导航窗格中,选择数据存储。
-
在 数据存储 页面上,选择 创建数据存储。
-
在指定数据存储详细信息页面上,输入数据存储相关的基本信息。
-
在数据存储 ID 中,输入唯一的数据存储 ID。该 ID 在创建后无法更改。
-
(可选)对于标签,选择添加新标签,将一个或多个自定义标签(键值对)添加到数据存储中。标签有助于标识为 Amazon IoT Analytics 创建的资源。
-
选择 下一步。
-
-
在配置存储类型页面上,指定如何存储数据。
-
对于存储类型,选择服务托管存储。
-
对于配置已处理数据要保留多长时间,选择无限期。
-
选择 下一步。
-
-
在配置数据格式页面上,定义数据记录的结构和格式。
-
对于数据存储数据格式分类,选择 JSON 或 Parquet。有关 Amazon IoT Analytics 支持的文件类型的更多信息,请参阅文件格式。
注意
创建数据存储后,无法更改该格式。
-
选择 下一步。
-
-
为此数据存储创建自定义分区。
-
对于添加数据分区,选择启用。
-
对于数据分区源,请指定分区源相关的基本信息。
选择示例源,然后选择为此数据存储收集消息的 Amazon IoT Analytics 通道。
-
在消息示例属性中,选择要用于对数据存储进行分区的消息属性。接下来,将您的选择添加为操作下的属性分区维度或时间戳分区维度。
注意
您只能将一个时间戳分区添加到数据存储中。
-
对于自定义数据存储分区维度,请定义有关分区维度的基本信息。您在上一步中选择的每个消息示例属性都将成为分区的维度。使用以下选项自定义每个维度:
-
分区类型 - 指定此分区维度是属性还是时间戳分区类型。
-
属性名称和维度名称 - 默认情况下,Amazon IoT Analytics 将使用您选择的消息样本属性的名称作为属性分区维度的标识符。编辑属性名称以自定义分区维度的名称。您可以使用
WHERE
子句中的维度名称来优化查询性能。-
任何分区属性维度的名称均带有
__partition_
前缀。 -
对于时间戳分区类型,Amazon IoT Analytics 创建了以下四个维度,名称分别为
__year
、__month
、__day
、__hour
。
-
-
排序 - 重新排列分区维度以缩短查询的延迟。
对于时间戳格式,请通过匹配消息数据中提取的时间戳来指定时间戳分区的格式。您可从 Amazon IoT Analytics 列出的格式选项中选择一个,也可指定一个与您的数据格式相匹配的选项。详细了解如何指定日期时间格式化程序
。 要添加不是消息属性的新维度,请选择 添加新分区。
-
-
选择 下一步。
-
-
在 查看和创建 页面上,查看您的选择,然后选择 创建数据存储。
重要
创建数据存储后,无法更改数据存储 ID。
要编辑现有分区,必须创建另一个数据存储并通过管道重新处理数据。
-
确认新数据存储显示在数据存储页面上。