本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
文件格式
Amazon IoT Analytics数据存储目前支持 JSON 和 Parquet 文件格式。默认文件格式为 JSON。
-
JSON(JavaScript 对象表示法)
-支持名称-值对和有序值列表的文本格式。 -
Apache Parquet
-用于高效存储和查询大量数据的列式存储格式。
配置文件格式Amazon IoT Analytics数据存储,你可以使用FileFormatConfiguration
创建数据存储时的对象。
fileFormatConfiguration
-
包含文件格式的配置信息。Amazon IoT Analytics数据存储支持 JSON 和 Parquet。
默认文件格式为 JSON。只能指定一种格式。创建数据存储后,无法更改文件格式。
jsonConfiguration
-
包含 JSON 格式的配置信息。
parquetConfiguration
-
包含 Parquet 格式的配置信息。
schemaDefinition
-
定义架构所需的信息。
columns
-
指定存储数据的一个或多个列。
每个架构最多可有 100 列。每列最多可有 100 种嵌套类型。
name
-
列的名称。
长度限制:1-255 个字符。
type
-
数据的类型。有关支持的数据类型的更多信息,请参阅。常见数据类型中的Amazon Glue开发人员指南.
长度限制:1-131072 个字符。
Amazon IoT Analytics支持列在Amazon Athena 中的数据类型页面,除了DECIMAL(
-precision
,
scale
)
.precision
创建数据存储(控制台)
以下过程演示如何创建数据存储,以 Parquet 格式保存数据存储。
创建数据存储
-
在导航窗格中,选择数据存储.
-
在存储库的数据存储页面上,选择创建数据存储.
-
在存储库的指定数据存储页面中,输入有关数据存储的基本信息。
-
适用于数据存储 ID中,输入唯一数据存储 ID。您在创建此 ID 之后无法更改其。
-
(可选)对于标签,选择添加新标签将一个或多个自定义标签(键值对)添加到数据存储中。标签可帮助您标识您为其创建的资源Amazon IoT Analytics.
-
选择 Next(下一步)。
-
-
在存储库的配置存储类型页面中,指定如何存储数据。
-
适用于存储类型,选择服务托管存储.
-
适用于配置您希望将处理后的数据保留多长时间,选择无限期.
-
选择 Next(下一步)。
-
-
在存储库的配置数据格式页面中,定义数据记录的结构和格式。
-
适用于Classification,选择Parquet. 创建数据存储后,无法更改此格式。
-
适用于推理来源,选择JSON 字符串对于数据存储。
-
适用于字符串以 JSON 格式输入架构,例如以下示例。
{ "device_id": "0001", "temperature": 26, "humidity": 29, "datetime": "2018-01-26T07:06:01" }
-
选择推断架构.
-
UNDER配置 Parquet 架构中,确认格式与您的 JSON 示例匹配。如果格式不匹配,请手动更新 Pincia 模式。
-
如果您希望模式显示更多列,请选择添加新列,输入列名称,然后选择数据类型。
注意
默认情况下,架构可使用 100 列。有关更多信息,请参阅 Amazon IoT Analytics 配额。
-
您可以更改现有列的数据类型。有关支持的数据类型的更多信息,请参阅。常见数据类型中的Amazon Glue开发人员指南.
注意
在您创建数据存储之后,便无法更改现有列的数据类型。
-
要删除现有列,请选择删除列.
-
-
选择 Next(下一步)。
-
-
(可选)Amazon IoT Analytics支持数据存储中的自定义分区,因此您可以查询修剪的数据以提高延迟。有关支持的定制分区的更多信息,请参阅自定义分区.
选择 Next(下一步)。
-
在存储库的审核和创建页面,查看您的选择,然后选择创建数据存储.
重要
创建数据存储后,无法更改列的数据存储 ID、文件格式或数据类型。
-
验证您的新数据存储是否显示在数据存储页.