表属性 - Amazon Kinesis Data Analytics
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

表属性

除了数据字段之外,Amazon Glue表格使用表属性向您的 Studio 笔记本提供了其他信息。Kinesis Data Analytics 使用以下内容Amazon Glue表属性:

将属性添加到Amazon Glue表中,执行以下操作:

  1. 登录 Amazon Web Services Management Console,然后打开 Amazon Glue 控制台,网址为:https://console.aws.amazon.com/glue/

  2. 从表的列表中,选择您的应用程序用于存储其数据连接信息的表。选择操作编辑表详细信息.

  3. 以下表属性输入kinesisanalytics.proctime为了密钥user_action_time为了.

使用 Apache Flink 时间值

Apache Flink 提供了描述流处理事件何时发生的时间值,例如处理时间事件时间. 要在应用程序输出中包含这些值,您可以在Amazon Glue该表告诉 Kinesis Data Analytics 运行时将这些值发送到指定的字段中。

您在表属性中使用的键和值如下:

时间戳类型 密钥
处理时间 kinesisanalytics.proctime The column name that Amazon Glue will use to expose the value. This column name does not correspond to an existing table column.
事件时间 kinesisanalytics.rowtime The column name that Amazon Glue will use to expose the value. This column name corresponds to an existing table column.

kinesis 分析。水印。column_name毫秒

The watermark interval in milliseconds

使用 Flink 连接器和格式属性

您使用以下方法向应用程序的 Flink 连接器提供有关数据源的信息Amazon Glue表属性。Kinesis Data Analytics 用于连接器的一些属性示例如下:

连接器类型 密钥
Kafka 格式的日期和时间。 The format used to deserialize and serialize Kafka messages, e.g. json or csv.
scan.startup.mode The startup mode for the Kafka consumer, e.g. 最早的偏移量 or timestamp.
Kinesis 格式的日期和时间。 The format used to deserialize and serialize Kinesis data stream records, e.g. json or csv.
aws.区域/区域 The Amazon region where the stream is defined.
S3(文件系统) format The format used to deserialize and serialize files, e.g. json or csv.
path The Amazon S3 path, e.g. s3: //mybucket/.

有关除 Kinesis 和 Apache Kafka 之外的其他连接器的更多信息,请参阅连接器的文档。