文件格式 - Amazon IoT Analytics
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

文件格式

Amazon IoT Analytics数据存储目前支持 JSON 和 Parquet 文件格式。默认文件格式为 JSON。

配置的文件格式Amazon IoT Analytics数据存储,你可以使用FileFormatConfiguration创建数据存储时的对象。

fileFormatConfiguration

包含文件格式的配置信息。Amazon IoT Analytics数据存储支持 JSON 和 Parquet。

默认文件格式为 JSON。只能指定一种格式。创建数据存储后,无法更改文件格式。

jsonConfiguration

包含 JSON 格式的配置信息。

parquetConfiguration

包含 Parquet 格式的配置信息。

schemaDefinition

定义架构所需的信息。

columns

指定存储数据的一个或多个列。

每个架构最多可有 100 列。每列最多可有 100 种嵌套类型。

name

列的名称。

长度限制:1-255 个字符。

type

数据的类型。有关支持的数据类型的更多信息,请参阅。常见数据类型中的Amazon Glue开发人员指南.

长度限制:1-131072 个字符。

Amazon IoT Analytics支持列在Amazon Athena 中的数据类型页面,除了DECIMAL(precision, scale)-precision.

创建数据存储(控制台)

下面的过程演示如何创建用于存储以 Parquet 格式的数据存储。

创建数据存储

  1. 登录到https://console.aws.amazon.com/iotanalytics/.

  2. 在导航窗格中,选择数据存储.

  3. 在存储库的数据存储页面上,选择创建数据存储.

  4. 在存储库的指定数据存储页面中,输入有关数据存储的基本信息。

    1. 适用于数据存储,输入唯一数据存储 ID。您在创建此 ID 之后无法更改其。

    2. (可选)对于标签,选择添加新标签将一个或多个自定义标签(键值对)添加到数据存储中。标签可帮助您识别您为其创建的资源Amazon IoT Analytics.

    3. 选择下一步

  5. 在存储库的配置存储类型页面中,指定如何存储数据。

    1. 适用于存储类型,选择服务托管存储.

    2. 适用于配置您希望将处理后的数据保留多长时间,选择无限期.

    3. 选择下一步

  6. 在存储库的配置数据格式页面中,定义数据记录的结构和格式。

    1. 适用于Classification,选择Parquet. 创建数据存储后,无法更改此格式。

    2. 适用于推理来源,选择JSON 字符串对于您的数据存储。

    3. 适用于字符串,以 JSON 格式输入架构,例如以下示例。

      { "device_id": "0001", "temperature": 26, "humidity": 29, "datetime": "2018-01-26T07:06:01" }
    4. 选择推断架构.

    5. UNDER配置 Parquet 架构中,确认格式与您的 JSON 示例匹配。如果格式不匹配,请手动更新 Pincia 模式。

      • 如果你希望你的架构显示更多列,请选择添加新列,输入列名称,然后选择数据类型。

        注意

        默认情况下,您的架构可使用 100 列。有关更多信息,请参阅 Amazon IoT Analytics 配额

      • 您可以更改现有列的数据类型。有关支持的数据类型的更多信息,请参阅。常见数据类型中的Amazon Glue开发人员指南.

        注意

        创建数据存储后,无法更改现有列的数据类型。

      • 要删除现有列,请选择删除列.

    6. 选择下一步

  7. (可选)Amazon IoT Analytics支持数据存储中的自定义分区,因此您可以查询修剪的数据以提高延迟。有关支持的定制分区的更多信息,请参阅自定义分区.

    选择下一步

  8. 在存储库的审核和创建在页面上,查看您的选择,然后选择创建数据存储.

    重要

    创建数据存储后,无法更改列的数据存储 ID、文件格式或数据类型。

  9. 验证您的新数据存储是否显示在数据存储页.