本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
表属性
除了数据字段之外,Amazon Glue表格使用表属性向您的 Studio 笔记本提供了其他信息。Kinesis Data Analytics 使用以下内容Amazon Glue表属性:
使用 Apache Flink 时间值:这些属性定义了 Kinesis Data Analytics 如何发出 Apache Flink 内部数据处理时间值。
使用 Flink 连接器和格式属性:这些属性提供了有关数据流的信息。
将属性添加到Amazon Glue表中,执行以下操作:
登录 Amazon Web Services Management Console,然后打开 Amazon Glue 控制台,网址为:https://console.aws.amazon.com/glue/
。 从表的列表中,选择您的应用程序用于存储其数据连接信息的表。选择操作、编辑表详细信息.
以下表属性输入
kinesisanalytics.proctime
为了密钥和user_action_time
为了值.
使用 Apache Flink 时间值
Apache Flink 提供了描述流处理事件何时发生的时间值,例如处理时间
您在表属性中使用的键和值如下:
时间戳类型 | 密钥 | 值 |
---|---|---|
处理时间 |
kinesisanalytics.proctime | The column name that Amazon Glue will use to expose the value. This column name does not correspond to an existing table column. |
事件时间 |
kinesisanalytics.rowtime | The column name that Amazon Glue will use to expose the value. This column name corresponds to an existing table column. |
kinesis 分析。水印。 |
The watermark interval in milliseconds |
使用 Flink 连接器和格式属性
您使用以下方法向应用程序的 Flink 连接器提供有关数据源的信息Amazon Glue表属性。Kinesis Data Analytics 用于连接器的一些属性示例如下:
连接器类型 | 密钥 | 值 |
---|---|---|
Kafka |
格式的日期和时间。 |
The format used to deserialize and serialize Kafka messages, e.g. json or csv . |
scan.startup.mode |
The startup mode for the Kafka consumer, e.g. 最早的偏移量 or timestamp . |
|
Kinesis |
格式的日期和时间。 |
The format used to deserialize and serialize Kinesis data stream records, e.g. json or csv . |
aws.区域/区域 |
The Amazon region where the stream is defined. | |
S3(文件系统) |
format | The format used to deserialize and serialize files, e.g. json or csv . |
path |
The Amazon S3 path, e.g. s3: //mybucket/ . |
有关除 Kinesis 和 Apache Kafka 之外的其他连接器的更多信息,请参阅连接器的文档。