Amazon IoT Analytics 不再向新客户提供。的现有客户 Amazon IoT Analytics 可以继续照常使用该服务。了解更多
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
文件格式
Amazon IoT Analytics 数据存储目前支持 JSON 和 Parquet 文件格式。默认文件格式为 JSON。
-
JSON (JavaScript 对象表示法)
- 一种支持名称-值对和有序值列表的文本格式。 -
Apache Parquet
- 一种列式存储格式,用于高效存储和查询大量数据。
要配置 Amazon IoT Analytics 数据存储的文件格式,可在创建数据存储时使用 FileFormatConfiguration
对象。
fileFormatConfiguration
-
包含文件格式的配置信息。 Amazon IoT Analytics数据存储支持 JSON 和 Parquet。
默认文件格式为 JSON。只能指定一种格式。创建数据存储后,无法更改文件格式。
jsonConfiguration
-
包含 JSON 格式的配置信息。
parquetConfiguration
-
包含 Parquet 格式的配置信息。
schemaDefinition
-
定义架构所需的信息。
columns
-
指定存储数据的一个或多个列。
每个架构最多可有 100 列。每列最多可有 100 种嵌套类型。
name
-
列的名称。
长度限制:1-255 个字符。
type
-
数据的类型。有关受支持的数据类型的更多信息,请参阅《Amazon Glue 开发人员指南》中的常见数据类型。
长度限制:1-131072 个字符。
Amazon IoT Analytics 支持 Amazon Athena 数据类型页面上列出的所有数据类型,但 DECIMAL(
- precision
,
scale
)
除外。precision
创建数据存储(控制台)
以下步骤说明如何创建以 Parquet 格式保存数据的数据存储。
创建数据存储
-
在导航窗格中,选择数据存储。
-
在 数据存储 页面上,选择创建数据存储。
-
在指定数据存储详细信息页面上,输入数据存储相关的基本信息。
-
在数据存储 ID 中,输入唯一的数据存储 ID。该 ID 在创建后无法更改。
-
(可选)对于标签,选择添加新标签,将一个或多个自定义标签(键值对)添加到数据存储中。标签有助于标识为 Amazon IoT Analytics 创建的资源。
-
选择 下一步。
-
-
在配置存储类型页面上,指定如何存储数据。
-
对于存储类型,选择服务托管存储。
-
对于配置已处理数据要保留多长时间,选择无限期。
-
选择 下一步。
-
-
在配置数据格式页面上,定义数据记录的结构和格式。
-
对于 分类,选择 Parquet。创建数据存储后,无法更改该格式。
-
对于推理源,请为您的数据存储选择 JSON 字符串。
-
对于字符串,请以 JSON 格式输入您的架构,如下例所示。
{ "device_id": "0001", "temperature": 26, "humidity": 29, "datetime": "2018-01-26T07:06:01" }
-
选择推断架构。
-
在配置 Parquet 架构下,确认格式与 JSON 示例相匹配。如果格式不匹配,请手动更新 Parquet 架构。
-
如果希望架构显示更多列,请选择添加新列,输入列名,然后选择数据类型。
注意
默认情况下,您的架构可以有 100 列。有关更多信息,请参阅 Amazon IoT Analytics 配额。
-
您可以更改现有列的数据类型。有关受支持的数据类型的更多信息,请参阅《Amazon Glue 开发人员指南》中的常见数据类型。
注意
创建数据存储后,无法更改现有列的数据类型。
-
要删除现有列,请选择移除列。
-
-
选择 下一步。
-
-
(可选)Amazon IoT Analytics 支持数据存储中的自定义分区,以便您可以查询已清理的数据以缩短延迟。有关受支持的自定义分区的更多信息,请参阅自定义分区。
选择 下一步。
-
在 查看和创建 页面上,查看您的选择,然后选择 创建数据存储。
重要
创建数据存储后,无法更改列的数据存储 ID、文件格式或数据类型。
-
确认新数据存储显示在数据存储页面上。