本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
连接器和依赖项
通过连接器,您可以跨不同技术读取和写入数据。Kinesis Data Analytics 将三个默认连接器与 Studio 笔记本电脑捆绑在一起 您还可以使用自定义连接器。有关连接器的更多信息,请参阅表 & SQL 连接器
默认连接器
如果您将Amazon Web Services Management Console为了创建你的 Studio 笔记本,默认情况下 Kinesis Data Analytics 包括以下自定义连接器:flink-sql-connector-flink
、flink-connector-kafka_2.12
和aws-msk-iam-auth
. 要通过控制台创建一个没有这些自定义连接器的 Studio 笔记本,请选择使用自定义设置创建选项。然后,当你到达配置页面中,清除两个连接器旁边的复选框。
如果您将CreateApplication用于创建 Studio 笔记本的 API,flink-sql-connector-flink
和flink-connector-kafka
默认情况下不包括连接器。要添加它们,请将它们指定为MavenRefernce
中的CustomArtifactsConfiguration
数据类型,如以下示例所示。
这些区域有:aws-msk-iam-auth
连接器是与 Amazon MSK 一起使用的连接器,其中包括自动通过 IAM 进行身份验证的功能。
以下示例中显示的连接器版本是我们唯一支持的版本。
For the Kinesis connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-sql-connector-kinesis-2.12", "Version": "1.13.2" } }] For the Apache MSK connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "software.amazon.msk", "ArtifactId": "aws-msk-iam-auth", "Version": "1.1.0" } }] For the Apache Kafka connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-connector-kafka_2.12", "Version": "1.13.2" } }]
要将这些连接器添加到现有笔记本中,请使用UpdateApplicationAPI 操作并将它们指定为MavenReference
中的CustomArtifactsConfigurationUpdate
数据类型。
你可以设置failOnError
以真为单位flink-sql-connector-kinesis
表 API 中的连接器。
依赖和自定义连接器
使用Amazon Web Services Management Console要向 Studio 笔记本添加依赖项或自定义连接器,请按照以下步骤操作:
-
将自定义连接器的文件上载到 Amazon S3。
在Amazon Web Services Management Console,选择创建自定义用于创建 Studio 笔记本的选项。
遵循 Studio 笔记本创建工作流程,直到您进入配置Step。
-
在定制连接器部分,选择添加定制连接器.
-
指定依赖项的 Amazon S3 位置或自定义连接器。
-
选择 Save changes(保存更改)。
使用创建新的 Studio 笔记本时添加依赖项 JAR 或自定义连接器CreateApplicationAPI 中指定依赖项 JAR 的 Amazon S3 位置或自定义连接器CustomArtifactsConfiguration
数据类型。要向现有 Studio 笔记本添加依赖项或自定义连接器,请调用UpdateApplicationAPI 操作并在中指定依赖项 JAR 或自定义连接器的 Amazon S3 位置CustomArtifactsConfigurationUpdate
数据类型。
当您包含依赖项或自定义连接器时,还必须包括其中未捆绑的所有传递依赖项。