本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
自定义分区
Amazon IoT Analytics支持数据分区,以便您可以在数据存储中组织数据。当您使用数据分区来组织数据时,可以查询修剪的数据。这样可以减少每个查询扫描的数据量,并延长延迟。
您可以根据消息数据属性或通过管道活动添加的属性对数据进行分区。
要开始使用,请在数据存储中启用数据分区。指定一个或多个数据分区维度,然后将分区数据存储连接到Amazon IoT Analytics管道。然后,编写利用WHERE
子句优化性能。
创建数据存储(控制台)
下面的过程演示如何使用自定义分区创建数据存储。
创建数据存储
-
在导航窗格中,选择数据存储.
-
在存储库的数据存储页面上,选择创建数据存储.
-
在存储库的指定数据存储详情页面中,输入有关数据存储的基本信息。
-
适用于数据存储 ID中,输入唯一的数据存储 ID。创建此 ID 后,您无法更改其 ID。
-
(可选)对于标签,选择添加新标签将一个或多个自定义标签(键值对)添加到数据存储中。标签可帮助您识别为其创建的资源Amazon IoT Analytics.
-
选择 Next(下一步)。
-
-
在存储库的配置存储类型页面中,指定如何存储数据。
-
适用于存储类型,选择服务托管存储.
-
适用于配置您希望将处理后的数据保留多长时间,选择无限期.
-
选择 Next(下一步)。
-
-
在存储库的配置数据格式页面中,定义数据记录的结构和格式。
-
对于数据存储格式Classification,选择JSON要么Parquet. 有关 的更多信息Amazon IoT Analytics支持的文件类型,请参阅文件格式.
注意
创建数据存储后,无法更改此格式。
-
选择 Next(下一步)。
-
-
为此数据存储创建自定义分区。
-
适用于添加数据分区,选择启用.
-
适用于数据分区源中,指定有关分区源的基本信息。
选择源示例,然后选择Amazon IoT Analytics为此数据存储收集消息的渠道。
-
适用于消息示例属性中,选择要用于对数据存储进行分区的消息属性。然后,将您的选择添加为属性分区维度或时间戳分区维操作.
注意
您只能将一个时间戳分区添加到数据存储中。
-
适用于自定义数据存储分区维度中,定义有关分区维度的基本信息。您在上一步中选择的每个消息示例属性都将成为分区的维度。使用以下选项自定义每个维度:
-
分区类型-指定此分区维度是否为属性或者时间戳分区类型。
-
属性名称和维度名称-默认为Amazon IoT Analytics将使用您选择的消息示例属性的名称作为属性分区维的标识符。编辑属性名称以自定义分区维的名称。您可以在
WHERE
子句优化查询性能。-
任何分区属性维度的名称都带有前缀
__partition_
. -
对于时间戳分区类型,Amazon IoT Analytics使用名称创建以下四个维度
__year
、__month
、__day
、__hour
.
-
-
Orter-重新排列分区维度以提高查询的延迟时间。
适用于时间戳格式中,通过匹配消息数据中提取的时间戳来指定时间戳分区的格式。您可以选择其中之一Amazon IoT Analytics列出的格式选项,或者指定与数据格式匹配的格式选项。了解有关的详细信息日期时间格式化器
. 要添加不是消息属性的新维度,请选择添加新分区.
-
-
选择 Next(下一步)。
-
-
在存储库的审核和创建页面,查看您的选择,然后选择创建数据存储.
重要
创建数据存储后,无法更改数据存储 ID。
要编辑现有分区,必须创建另一个数据存储并通过管道重新处理数据。
-
验证您的新数据存储是否显示在数据存储页.