View a markdown version of this page

自定义分区 - Amazon IoT Analytics
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

终止支持通知: Amazon 将于 2025 年 12 月 15 日终止对的支持 Amazon IoT Analytics。2025 年 12 月 15 日之后,您将无法再访问 Amazon IoT Analytics 控制台或 Amazon IoT Analytics 资源。有关更多信息,请参阅Amazon IoT Analytics 终止支持。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

自定义分区

Amazon IoT Analytics 支持数据分区,因此您可以整理数据存储中的数据。使用数据分区来组织数据时,可以查询已清理的数据。这减少了每次查询扫描的数据量并减少了延迟。

您可根据消息数据属性或通过管道活动添加的属性,对数据进行分区。

首先,启用数据存储中的数据分区。指定一个或多个数据分区维度,并将分区后的数据存储连接到 Amazon IoT Analytics 管道。然后,编写利用 WHERE 子句优化性能的查询。

创建数据存储(控制台)

下面的过程演示如何使用自定义分区来创建数据存储。

创建数据存储
  1. 登录 Amazon IoT Analytics 控制台。

  2. 在导航窗格中,选择数据存储。

  3. 在 数据存储 页面上,选择 创建数据存储。

  4. 在指定数据存储详细信息页面上,输入数据存储相关的基本信息。

    1. 在数据存储 ID 中,输入唯一的数据存储 ID。该 ID 在创建后无法更改。

    2. (可选)对于标签,选择添加新标签,将一个或多个自定义标签(键值对)添加到数据存储中。标签可以帮助您识别为其创建的资源 Amazon IoT Analytics。

    3. 选择下一步。

  5. 在配置存储类型页面上,指定如何存储数据。

    1. 对于存储类型,选择服务托管存储。

    2. 对于配置要保留已处理数据的时间,选择无限期。

    3. 选择 下一步。

  6. 在配置数据格式页面上,定义数据记录的结构和格式。

    1. 对于数据存储数据格式分类,选择 JSON 或 Parquet。有关 Amazon IoT Analytics 支持的文件类型的更多信息,请参阅文件格式。

      注意

      创建数据存储后,无法更改该格式。

    2. 选择 下一步。

  7. 为此数据存储创建自定义分区。

    1. 对于添加数据分区,选择启用。

    2. 对于数据分区源,请指定分区源相关的基本信息。

      选择 Samp le sour ce,然后选择为此数据存储收集消息的 Amazon IoT Analytics 渠道。

    3. 在消息示例属性中,选择要用于对数据存储进行分区的消息属性。接下来,将您的选择添加为操作下的属性分区维度或时间戳分区维度。

      注意

      您只能将一个时间戳分区添加到数据存储中。

    4. 对于自定义数据存储分区维度,请定义有关分区维度的基本信息。您在上一步中选择的每个消息示例属性都将成为分区的维度。使用以下选项自定义每个维度:

      • 分区类型 - 指定此分区维度是属性还是时间戳分区类型。

      • 属性名称和维度名称-默认情况下, Amazon IoT Analytics 将使用您选择的消息样本属性的名称作为属性分区维度的标识符。编辑属性名称以自定义分区维度的名称。您可以使用 WHERE 子句中的维度名称来优化查询性能。

        • 任何分区属性维度的名称均带有 __partition_ 前缀。

        • 对于时间戳分区类型, Amazon IoT Analytics 创建以下四个维度__year,名称为、__month__day、__hour。

      • 排序 - 重新排列分区维度以缩短查询的延迟。

      对于时间戳格式,请通过匹配消息数据中提取的时间戳来指定时间戳分区的格式。您可以从 Amazon IoT Analytics 列出的格式选项中选择一个,也可以指定一个与您的数据格式相匹配的选项。详细了解如何指定日期时间格式化程序。

      要添加不是消息属性的新维度,请选择 添加新分区。

    5. 选择 下一步。

  8. 在 查看和创建 页面上,查看您的选择,然后选择 创建数据存储。

    重要
    • 创建数据存储后,无法更改数据存储 ID。

    • 要编辑现有分区,必须创建另一个数据存储并通过管道重新处理数据。

  9. 确认新数据存储显示在数据存储页面上。