文件格式 - Amazon IoT Analytics
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

文件格式

Amazon IoT Analytics 数据存储目前支持 JSON 和 Parquet 文件格式。默认文件格式为 JSON。

要配置 Amazon IoT Analytics 数据存储的文件格式,可在创建数据存储时使用 FileFormatConfiguration 对象。

fileFormatConfiguration

包含文件格式的配置信息。 Amazon IoT Analytics数据存储支持 JSON 和 Parquet。

默认文件格式为 JSON。只能指定一种格式。创建数据存储后,无法更改文件格式。

jsonConfiguration

包含 JSON 格式的配置信息。

parquetConfiguration

包含 Parquet 格式的配置信息。

schemaDefinition

定义架构所需的信息。

columns

指定存储数据的一个或多个列。

每个架构最多可有 100 列。每列最多可有 100 种嵌套类型。

name

列的名称。

长度限制:1-255 个字符。

type

数据的类型。有关受支持的数据类型的更多信息,请参阅《Amazon Glue 开发人员指南》中的常见数据类型

长度限制:1-131072 个字符。

Amazon IoT Analytics 支持 Amazon Athena 数据类型页面上列出的所有数据类型,但 DECIMAL(precision, scale) - precision 除外。

创建数据存储(控制台)

以下步骤说明如何创建以 Parquet 格式保存数据的数据存储。

创建数据存储
  1. 登录 https://console.aws.amazon.com/iotanalytics/

  2. 在导航窗格中,选择数据存储

  3. 数据存储 页面上,选择创建数据存储

  4. 指定数据存储详细信息页面上,输入数据存储相关的基本信息。

    1. 数据存储 ID 中,输入唯一的数据存储 ID。该 ID 在创建后无法更改。

    2. (可选)对于标签,选择添加新标签,将一个或多个自定义标签(键值对)添加到数据存储中。标签有助于标识为 Amazon IoT Analytics 创建的资源。

    3. 选择 下一步

  5. 配置存储类型页面上,指定如何存储数据。

    1. 对于存储类型,选择服务托管存储

    2. 对于配置已处理数据要保留多长时间,选择无限期

    3. 选择 下一步

  6. 配置数据格式页面上,定义数据记录的结构和格式。

    1. 对于 分类,选择 Parquet。创建数据存储后,无法更改该格式。

    2. 对于推理源,请为您的数据存储选择 JSON 字符串

    3. 对于字符串,请以 JSON 格式输入您的架构,如下例所示。

      { "device_id": "0001", "temperature": 26, "humidity": 29, "datetime": "2018-01-26T07:06:01" }
    4. 选择推断架构

    5. 配置 Parquet 架构下,确认格式与 JSON 示例相匹配。如果格式不匹配,请手动更新 Parquet 架构。

      • 如果希望架构显示更多列,请选择添加新列,输入列名,然后选择数据类型。

        注意

        默认情况下,您的架构可以有 100 列。有关更多信息,请参阅 Amazon IoT Analytics 配额

      • 您可以更改现有列的数据类型。有关受支持的数据类型的更多信息,请参阅《Amazon Glue 开发人员指南》中的常见数据类型

        注意

        创建数据存储后,无法更改现有列的数据类型。

      • 要删除现有列,请选择移除列

    6. 选择 下一步

  7. (可选)Amazon IoT Analytics 支持数据存储中的自定义分区,以便您可以查询已清理的数据以缩短延迟。有关受支持的自定义分区的更多信息,请参阅自定义分区

    选择 下一步

  8. 查看和创建 页面上,查看您的选择,然后选择 创建数据存储

    重要

    创建数据存储后,无法更改列的数据存储 ID、文件格式或数据类型。

  9. 确认新数据存储显示在数据存储页面上。