适用于 Apache Flink 的托管服务的早期版本信息 - Managed Service for Apache Flink
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

适用于 Apache Flink 的托管服务的早期版本信息

注意

本主题包含有关将 Managed Service for Apache Flink与旧版本 Apache Flink 结合使用的信息。我们建议你使用 Apache Flink 版本 1.18.1。有关更多信息,请参阅 适用于 Apache Flink 1.18 的亚马逊托管服务(推荐版本)

Apache Flink 的托管服务支持 Apache Flink 的 1.15. 2、1.13. 2、1. 11.1、1.8. 2 和 1.6.2 版本,但 Apache Flink 社区不再支持。

将 Apache Flink Kinesis Streams 连接器与之前的 Apache Flink 版本一起使用

在 1.11 版本之前,Apache Flink Kinesis Streams 连接器未包含在 Apache Flink 中。为了使您的应用程序能够将 Apache Flink Kinesis 连接器与以前版本的 Apache Flink 结合使用,您必须下载、编译并安装您的应用程序使用的 Apache Flink 版本。该连接器用于使用来自作为应用程序源的 Kinesis 流的数据,或者将数据写入到用于应用程序输出的 Kinesis 流中。

注意

确保使用 KPL 版本 0.14.0 或更高版本构建连接器。

要下载并安装 Apache Flink 1.8.2 版源代码,请执行以下操作:

  1. 确保已安装 Apache Maven,并且 JAVA_HOME 环境变量指向 JDK 而不是 JRE。您可以使用以下命令测试 Apache Maven 安装:

    mvn -version
  2. 下载 Apache Flink 版本 1.8.2 源代码:

    wget https://archive.apache.org/dist/flink/flink-1.8.2/flink-1.8.2-src.tgz
  3. 解压缩 Apache Flink 源代码:

    tar -xvf flink-1.8.2-src.tgz
  4. 转到 Apache Flink 源代码目录:

    cd flink-1.8.2
  5. 编译并安装 Apache Flink:

    mvn clean install -Pinclude-kinesis -DskipTests
    注意

    如果您在微软 Windows 上编译 Flink,则需要添加-Drat.skip=true参数。

使用 Apache Flink 1.8.2 构建应用程序

本节包含有关用于构建与 Apache Flink 1.8.2 一起使用的 Managed Service for Apache Flink 应用程序的组件的信息。

使用 Managed Service for Apache Flink 应用程序的下列组件版本:

组件 版本
Java 1.8(建议)
Apache Flink 1.8.2
适用于 Flink 运行时的 Apache Flink 托管服务 () aws-kinesisanalytics-runtime 1.0.1
适用于 Apache Flink Flink 连接器的托管服务 () aws-kinesisanalytics-flink 1.0.1
Apache Maven 3.1

要使用 Apache Flink 1.8.2 编译应用程序,请使用以下参数运行 Maven:

mvn package -Dflink.version=1.8.2

有关使用 Apache Flink 版本 1.8.2 的 Managed Service for Apache Flink应用程序的pom.xml文件示例,请参阅适用于 Managed Service for Apache Flink 1.8.2 入门应用程序。

有关如何为 Managed Service for Apache Flink 应用程序构建和使用应用程序代码的信息,请参阅创建应用程序

使用 Apache Flink 1.6.2 构建应用程序

本节包含有关用于构建与 Apache Flink 1.6.2 一起使用的 Managed Service for Apache Flink 应用程序组件的信息。

使用 Managed Service for Apache Flink 应用程序的下列组件版本:

组件 版本
Java 1.8(建议)
Amazon Java 开发工具 1.11.379
Apache Flink 1.6.2
适用于 Flink 运行时的 Apache Flink 托管服务 () aws-kinesisanalytics-runtime 1.0.1
适用于 Apache Flink Flink 连接器的托管服务 () aws-kinesisanalytics-flink 1.0.1
Apache Maven 3.1
Apache Beam Apache Flink 1.6.2 不支持。
注意

在使用 Managed Service for Apache Flink 运行时版本 1.0.1 时,您可以在pom.xml 文件中指定 Apache Flink 版本,而不是在编译应用程序代码时使用-Dflink.version参数。

有关使用 Apache Flink 版本 1.6.2 的 Managed Service for Apache Flink 应用程序的pom.xml文件示例,请参阅Managed Service for Apache Flink 1.6.2 入门应用程序。

有关如何为 Managed Service for Apache Flink 应用程序构建和使用应用程序代码的信息,请参阅创建应用程序

升级应用程序

要升级适用于 Apache Flink 的亚马逊托管服务 Flink 应用程序的 Apache Flink 版本,请使用、软件开发工具包或的就地 Apache Flink 版本升级功能。 Amazon CLI Amazon Amazon CloudFormation Amazon Web Services Management Console有关更多信息,请参阅 Apache Flink 的就地版本升级

您可以将此功能用于任何与适用于 Apache Flink 的亚马逊托管服务一起使用的现有应用程序。READY RUNNING

Apache Flink 1.6.2 和 1.8.2 中可用的连接器

Apache Flink 框架包含用于从各种源中访问数据的连接器。

入门:Flink 1.13.2

本节向您介绍适用于 Apache Flink 的托管服务和 API 的基本概念。 DataStream 它介绍了可用于创建和测试应用程序的选项。它还提供了相应的说明以安装所需的工具,以完成本指南中的教程和创建第一个应用程序。

适用于 Apache Flink 应用程序的托管服务的组件

为了处理数据,您的Managed Service for Apache Flink 应用程序使用 Java/Apache Maven 或 Scala 应用程序,该应用程序使用 Apache Flink 运行时处理输入和生成输出。

Managed Service for Apache Flink 应用程序包含以下组件:

  • 运行时属性:您可以使用运行时属性 配置应用程序,而无需重新编译应用程序代码。

  • 源:应用程序通过 使用数据。源连接器从 Kinesis 数据流、Amazon S3 存储桶等读取数据。有关更多信息,请参阅

  • 运算符:应用程序使用一个或多个运算符 以处理数据。运算符可以转换、丰富或聚合数据。有关更多信息,请参阅 DataStream API 操作员

  • 接收器:应用程序使用接收器 将生成的数据发送到外部源。接收器连接器将数据写入 Kinesis 数据流、Firehose 流、Amazon S3 存储桶等。有关更多信息,请参阅 接收器

在创建、编译和打包您的应用程序代码后,您可以将代码包上传到 Amazon Simple Storage Service (Amazon S3) 存储桶中。然后,您创建一个 Managed Service for Apache Flink 应用程序。您在代码包位置中传入一个 Kinesis 数据流以作为流数据源,它通常是接收应用程序处理的数据的流或文件位置。

完成练习的先决条件

要完成本指南中的步骤,您必须满足以下条件:

要开始,请转到步骤 1:设置 Amazon 账户并创建管理员用户

步骤 1:设置 Amazon 账户并创建管理员用户

注册获取 Amazon Web Services 账户

如果您没有 Amazon Web Services 账户,请完成以下步骤来创建一个。

要注册 Amazon Web Services 账户
  1. 打开 https://portal.aws.amazon.com/billing/signup

  2. 按照屏幕上的说明进行操作。

    在注册时,将接到一通电话,要求使用电话键盘输入一个验证码。

    当您注册时 Amazon Web Services 账户,就会创建Amazon Web Services 账户根用户一个。根用户有权访问该账户中的所有 Amazon Web Services 和资源。作为安全最佳实践,请为用户分配管理访问权限,并且只使用根用户来执行需要根用户访问权限的任务

Amazon 注册过程完成后会向您发送一封确认电子邮件。在任何时候,您都可以通过转至 https://aws.amazon.com/ 并选择我的账户来查看当前的账户活动并管理您的账户。

保护 IAM 用户

注册后 Amazon Web Services 账户,开启多重身份验证 (MFA),保护您的管理用户。有关说明,请参阅 IAM 用户指南中的 为 IAM 用户启用虚拟 MFA 设备(控制台)

要允许其他用户访问您的 Amazon Web Services 账户 资源,请创建 IAM 用户。为了保护您的 IAM 用户,请启用 MFA 并仅向 IAM 用户授予执行任务所需的权限。

有关创建和保护 IAM 用户的更多信息,请参阅《IAM 用户指南》中的以下主题:

授权以编程方式访问

如果用户想在 Amazon 外部进行交互,则需要编程访问权限 Amazon Web Services Management Console。 Amazon API 和 Amazon Command Line Interface 所需的访问密钥。可能的话,创建临时凭证,该凭证由一个访问密钥 ID、一个秘密访问密钥和一个指示凭证何时到期的安全令牌组成。

要向用户授予编程式访问权限,请选择以下选项之一。

哪个用户需要编程式访问权限? 目的 方式
IAM 使用短期凭证签署对 Amazon CLI 或 Amazon API 的编程请求(直接或使用 Amazon 软件开发工具包)。 按照 IAM 用户指南中的将临时证书与 Amazon 资源配合使用中的说明进行操作。
IAM

(不推荐使用)

使用长期凭证签署对 Amazon CLI 或 Amazon API 的编程请求(直接或使用 Amazon 软件开发工具包)。
按照《IAM 用户指南》管理 IAM 用户的访问密钥中的说明进行操作。

后续步骤

步骤 2:设置 Amazon Command Line Interface (Amazon CLI)

后续步骤

步骤 2:设置 Amazon Command Line Interface (Amazon CLI)

步骤 2:设置 Amazon Command Line Interface (Amazon CLI)

在此步骤中,您将下载并配置为与适用于 Apache Flink 的托管服务一起使用。 Amazon CLI

注意

本指南中的入门练习假定您使用账户中的管理员凭证 (adminuser) 来执行这些操作。

注意

如果您已经 Amazon CLI 安装了,则可能需要升级才能获得最新功能。有关更多信息,请参阅Amazon Command Line Interface 《用户指南》中的安装 Amazon Command Line Interface。要检查的版本 Amazon CLI,请运行以下命令:

aws --version

本教程中的练习需要以下 Amazon CLI 版本或更高版本:

aws-cli/1.16.63
要设置 Amazon CLI
  1. 下载并配置 Amazon CLI。有关说明,请参阅《Amazon Command Line Interface 用户指南》中的以下主题:

  2. 在文件中为管理员用户添加命名的配置 Amazon CLI config文件。在执行 Amazon CLI 命令时,您将使用此配置文件。有关命名配置文件的更多信息,请参阅《Amazon Command Line Interface 用户指南》中的命名配置文件

    [profile adminuser] aws_access_key_id = adminuser access key ID aws_secret_access_key = adminuser secret access key region = aws-region

    有关可用 Amazon 区域的列表,请参阅中的区域和终端节点Amazon Web Services 一般参考

    注意

    本教程中的示例代码和命令使用美国西部(俄勒冈州)区域。要使用不同的区域,请将本教程的代码和命令中的区域更改为要使用的区域。

  3. 在命令提示符处输入以下帮助命令来验证设置:

    aws help

设置 Amazon 帐户和之后 Amazon CLI,您可以尝试下一个练习,即配置示例应用程序并测试 end-to-end 设置。

后续步骤

步骤 3:创建并运行适用于 Apache Flink 应用程序的托管服务

步骤 3:创建并运行适用于 Apache Flink 应用程序的托管服务

在本练习中,您将创建面向应用程序的 Managed Service for Apache Flink,并将数据流作为源和接收器。

创建两个 Amazon Kinesis 数据流

在为本练习创建 Managed Service for Apache Flink 应用程序之前,请创建两个 Kinesis 数据流(ExampleInputStreamExampleOutputStream)。您的应用程序将这些数据流用于应用程序源和目标流。

可以使用 Amazon Kinesis 控制台或以下 Amazon CLI 命令创建这些流。有关控制台说明,请参阅 Amazon Kinesis Data Streams 开发人员指南中的创建和更新数据流

创建数据流 (Amazon CLI)
  1. 要创建第一个直播 (ExampleInputStream),请使用以下 Amazon Kinesis 命令create-stream Amazon CLI 。

    $ aws kinesis create-stream \ --stream-name ExampleInputStream \ --shard-count 1 \ --region us-west-2 \ --profile adminuser
  2. 要创建应用程序用来写入输出的第二个流,请运行同一命令(将流名称更改为 ExampleOutputStream)。

    $ aws kinesis create-stream \ --stream-name ExampleOutputStream \ --shard-count 1 \ --region us-west-2 \ --profile adminuser

将样本记录写入输入流

在本节中,您使用 Python 脚本将示例记录写入流,以供应用程序处理。

注意

此部分需要 Amazon SDK for Python (Boto)

  1. 使用以下内容创建名为 stock.py 的文件:

    import datetime import json import random import boto3 STREAM_NAME = "ExampleInputStream" def get_data(): return { 'event_time': datetime.datetime.now().isoformat(), 'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']), 'price': round(random.random() * 100, 2)} def generate(stream_name, kinesis_client): while True: data = get_data() print(data) kinesis_client.put_record( StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey") if __name__ == '__main__': generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))
  2. 在本教程的后面部分,您运行 stock.py 脚本,以将数据发送到应用程序。

    $ python stock.py

下载并查看 Apache Flink 流式传输 Java 代码

此示例的 Java 应用程序代码可从中获得 GitHub。要下载应用程序代码,请执行以下操作:

  1. 使用以下命令克隆远程存储库:

    git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git
  2. 导航到 amazon-kinesis-data-analytics-java-examples/GettingStarted 目录。

请注意有关应用程序代码的以下信息:

  • 项目对象模型 (pom.xml) 文件包含有关应用程序的配置和依赖项的信息,包括 Managed Service for Apache Flink 库。

  • BasicStreamingJob.java 文件包含定义应用程序功能的 main 方法。

  • 应用程序使用 Kinesis 源从源流中进行读取。以下代码段创建 Kinesis 源:

    return env.addSource(new FlinkKinesisConsumer<>(inputStreamName, new SimpleStringSchema(), inputProperties));
  • 您的应用程序使用 StreamExecutionEnvironment 对象创建源和接收连接器以访问外部资源。

  • 该应用程序将使用静态属性创建源和接收连接器。要使用动态应用程序属性,请使用 createSourceFromApplicationPropertiescreateSinkFromApplicationProperties 方法以创建连接器。这些方法读取应用程序的属性来配置连接器。

    有关运行时属性的更多信息,请参阅运行时属性

编译应用程序代码

在本节中,您使用 Apache Maven 编译器创建应用程序的 Java 代码。有关安装 Apache Maven 和 Java 开发工具包 (JDK) 的信息,请参阅满足完成练习的先决条件

编译应用程序代码
  1. 要使用您的应用程序代码,您将其编译和打包成 JAR 文件。您可以通过两种方式之一编译和打包您的代码:

    • 使用命令行 Maven 工具。在包含 pom.xml 文件的目录中通过运行以下命令创建您的 JAR 文件:

      mvn package -Dflink.version=1.13.2
    • 设置开发环境。有关详细信息,请参阅您的开发环境文档。

      注意

      提供的源代码依赖于 Java 11 中的库。

    您可以作为 JAR 文件上传您的包,也可以将包压缩为 ZIP 文件并上传。如果您使用创建应用程序 Amazon CLI,则需要指定代码内容类型(JAR 或 ZIP)。

  2. 如果编译时出错,请验证 JAVA_HOME 环境变量设置正确。

如果应用程序成功编译,则创建以下文件:

target/aws-kinesis-analytics-java-apps-1.0.jar

上传 Apache Flink 直播 Java 代码

在本节中,您创建 Amazon Simple Storage Service (Amazon S3) 存储桶并上传应用程序代码。

上传应用程序代码
  1. 通过 https://console.aws.amazon.com/s3/ 打开 Amazon S3 控制台。

  2. 选择 创建存储桶

  3. 存储桶名称 字段中输入 ka-app-code-<username>。将后缀(如您的用户名)添加到存储桶名称,以使其具有全局唯一性。选择 下一步

  4. 配置选项步骤中,让设置保持原样,然后选择下一步

  5. 设置权限步骤中,让设置保持原样,然后选择下一步

  6. 选择 创建存储桶

  7. 在 Amazon S3 控制台中,选择 ka-app-code- <username>存储桶,然后选择上传

  8. 选择文件步骤中,选择添加文件。导航到您在上一步中创建的 aws-kinesis-analytics-java-apps-1.0.jar 文件。选择 下一步

  9. 您无需更改该对象的任何设置,因此,请选择 上传

您的应用程序代码现在存储在 Amazon S3 存储桶中,应用程序可以在其中访问代码。

创建并运行适用于 Apache 的托管服务 Flink 应用程序

您可以使用控制台或 Amazon CLI创建和运行Managed Service for Apache Flink的应用程序。

注意

当您使用控制台创建应用程序时,系统会为您创建您的 Amazon Identity and Access Management (IAM) 和 A CloudWatch mazon Logs 资源。使用创建应用程序时 Amazon CLI,可以单独创建这些资源。

创建并运行应用程序(控制台)

按照以下步骤,使用控制台创建、配置、更新和运行应用程序。

创建应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Managed Service for Apache Flink 控制面板上,选择创建分析应用程序

  3. Managed Service for Apache Flink - 创建应用程序页面上,提供应用程序详细信息,如下所示:

    • 对于 应用程序名称 ,输入 MyApplication

    • 对于描述,输入 My java test app

    • 对于 运行时,请选择 Apache Flink

    • 将版本下拉列表保留为 Apache Flink 版本 1.13

  4. 对于访问权限,请选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  5. 选择创建应用程序

注意

在使用控制台创建应用程序的 Managed Service for Apache Flink时,您可以选择为应用程序创建 IAM 角色和策略。您的应用程序使用此角色和策略访问其从属资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

  • 策略:kinesis-analytics-service-MyApplication-us-west-2

  • 角色:kinesisanalytics-MyApplication-us-west-2

编辑 IAM 政策

编辑 IAM policy 以添加访问 Kinesis 数据流的权限。

  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 选择策略。选择控制台在上一部分中为您创建的 kinesis-analytics-service-MyApplication-us-west-2 策略。

  3. 摘要 页面上,选择 编辑策略。选择 JSON 选项卡。

  4. 将以下策略示例中突出显示的部分添加到策略中。将示例账户 ID (012345678901) 替换为您的账户 ID。

    { "Version": "2012-10-17", "Statement": [ { "Sid": "ReadCode", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": [ "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar" ] }, { "Sid": "DescribeLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*" ] }, { "Sid": "DescribeLogStreams", "Effect": "Allow", "Action": [ "logs:DescribeLogStreams" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*" ] }, { "Sid": "PutLogEvents", "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteOutputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream" } ] }
配置应用程序
  1. MyApplication页面上,选择配置

  2. 配置应用程序 页面上,提供 代码位置

    • 对于Amazon S3 存储桶,请输入ka-app-code-<username>

    • 在 Amazon S3 对象的路径中,输入aws-kinesis-analytics-java-apps-1.0.jar

  3. 对应用程序的访问权限 下,对于 访问权限,选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  4. 输入以下信息:

    组 ID
    ProducerConfigProperties flink.inputstream.initpos LATEST
    ProducerConfigProperties aws.region us-west-2
    ProducerConfigProperties AggregationEnabled false
  5. 监控 下,确保 监控指标级别 设置为 应用程序

  6. 要进行CloudWatch 日志记录,请选中 “启用” 复选框。

  7. 选择更新

注意

当您选择启用 Amazon CloudWatch 日志时,适用于 Apache Flink 的托管服务会为您创建一个日志组和日志流。这些资源的名称如下所示:

  • 日志组:/aws/kinesis-analytics/MyApplication

  • 日志流:kinesis-analytics-log-stream

运行应用程序

可以通过运行应用程序、打开 Apache Flink 控制面板并选择所需的 Flink 任务来查看 Flink 任务图。

停止应用程序

MyApplication页面上,选择停止。确认该操作。

更新应用程序

使用控制台,您可以更新应用程序设置,例如应用程序属性、监控设置,或应用程序 JAR 文件的位置和文件名。如果您需要更新应用程序代码,您还可以从 Amazon S3 存储桶重新加载应用程序 JAR。

MyApplication页面上,选择配置。更新应用程序设置,然后选择更新

创建并运行应用程序 (Amazon CLI)

在本节中,您将使用创建和运行适用 Amazon CLI 于 Apache Flink 的托管服务应用程序。适用于 Apache Flink 的托管服务使用该kinesisanalyticsv2 Amazon CLI 命令为 Apache Flink 应用程序创建托管服务并与之交互。

创建权限策略
注意

您必须为应用程序创建一个权限策略和角色。如果未创建这些 IAM 资源,应用程序将无法访问其数据和日志流。

首先,使用两个语句创建权限策略:一个语句授予对源流执行 read 操作的权限,另一个语句授予对接收器流执行 write 操作的权限。然后,将策略附加到 IAM 角色(下一部分中将创建此角色)。因此,在 Managed Service for Apache Flink代入该角色时,服务具有必要的权限从源流进行读取和写入接收器流。

使用以下代码创建 AKReadSourceStreamWriteSinkStream 权限策略。将 username 替换为您用于创建 Amazon S3 存储桶来存储应用程序代码的用户名。将 Amazon 资源名称 (ARN) 中的账户 ID (012345678901) 替换为您的账户 ID。

{ "Version": "2012-10-17", "Statement": [ { "Sid": "S3", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": ["arn:aws:s3:::ka-app-code-username", "arn:aws:s3:::ka-app-code-username/*" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteOutputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream" } ] }

有关创建权限策略的 step-by-step 说明,请参阅 IAM 用户指南中的教程:创建并附加您的第一个客户托管策略

注意

要访问其他 Amazon 服务,可以使用 Amazon SDK for Java。Managed Service for Apache Flink 会自动将软件开发工具包所需的证书设置为与您的应用程序关联的服务执行 IAM 角色的证书。无需执行其他步骤。

创建 IAM 角色

在本节中,您将创建一个 IAM 角色,应用程序的 Managed Service for Apache Flink可以代入此角色来读取源流和写入接收器流。

权限不足时,Managed Service for Apache Flink 无法访问您的串流。您通过 IAM 角色授予这些权限。每个 IAM 角色附加了两种策略。此信任策略授予 Managed Service for Apache Flink代入该角色的权限,权限策略确定 Managed Service for Apache Flink代入这个角色后可以执行的操作。

您将在上一部分中创建的权限策略附加到此角色。

创建 IAM 角色
  1. 通过以下网址打开 IAM 控制台:https://console.aws.amazon.com/iam/

  2. 在导航窗格中,选择 角色创建角色

  3. 选择受信任实体的类型 下,选择 Amazon 服务。在 选择将使用此角色的服务 下,选择 Kinesis。在选择您的使用案例下,选择 Kinesis Analytics

    选择下一步: 权限

  4. 附加权限策略 页面上,选择 下一步: 审核。在创建角色后,您可以附加权限策略。

  5. 创建角色 页面上,输入MF-stream-rw-role作为角色名称。选择 创建角色

    现在,您已经创建了一个名为 MF-stream-rw-role 的新 IAM 角色。接下来,您更新角色的信任和权限策略。

  6. 将权限策略附加到角色。

    注意

    对于本练习,Managed Service for Apache Flink代入此角色,以便同时从 Kinesis 数据流(源)读取数据和将输出写入另一个 Kinesis 数据流。因此,您附加在上一步(创建权限策略)中创建的策略。

    1. 摘要 页上,选择 权限 选项卡。

    2. 选择附加策略

    3. 在搜索框中,输入 AKReadSourceStreamWriteSinkStream(您在上一部分中创建的策略)。

    4. 选择 A K ReadSourceStreamWriteSinkStream 策略,然后选择附加策略

现在,您已经创建了应用程序用来访问资源的服务执行角色。记下新角色的 ARN。

有关创建角色的 step-by-step 说明,请参阅 IAM 用户指南中的创建 IAM 角色(控制台)

为 Apache Flink 应用程序创建托管服务
  1. 将以下 JSON 代码保存到名为 create_request.json 的文件中。将示例角色 ARN 替换为您之前创建的角色的 ARN。将存储桶 ARN 后缀 (username) 替换为在前一部分中选择的后缀。将服务执行角色中的示例账户 ID (012345678901) 替换为您的账户 ID。

    { "ApplicationName": "test", "ApplicationDescription": "my java test app", "RuntimeEnvironment": "FLINK-1_15", "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role", "ApplicationConfiguration": { "ApplicationCodeConfiguration": { "CodeContent": { "S3ContentLocation": { "BucketARN": "arn:aws:s3:::ka-app-code-username", "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar" } }, "CodeContentType": "ZIPFILE" }, "EnvironmentProperties": { "PropertyGroups": [ { "PropertyGroupId": "ProducerConfigProperties", "PropertyMap" : { "flink.stream.initpos" : "LATEST", "aws.region" : "us-west-2", "AggregationEnabled" : "false" } }, { "PropertyGroupId": "ConsumerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2" } } ] } } }
  2. 使用上述请求执行 CreateApplication 操作来创建应用程序:

    aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

应用程序现已创建。您在下一步中启动应用程序。

启动应用程序

在本节中,您使用 StartApplication 操作来启动应用程序。

启动应用程序
  1. 将以下 JSON 代码保存到名为 start_request.json 的文件中。

    { "ApplicationName": "test", "RunConfiguration": { "ApplicationRestoreConfiguration": { "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT" } } }
  2. 使用上述请求执行 StartApplication 操作来启动应用程序:

    aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

应用程序正在运行。您可以在亚马逊 CloudWatch 控制台上查看托管服务的 Apache Flink 指标,以验证应用程序是否正常运行。

停止应用程序

在本节中,您使用 StopApplication 操作来停止应用程序。

停止应用程序
  1. 将以下 JSON 代码保存到名为 stop_request.json 的文件中。

    { "ApplicationName": "test" }
  2. 使用下面的请求执行 StopApplication 操作来停止应用程序:

    aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

应用程序现已停止。

添加 CloudWatch 日志选项

您可以使用将 Amazon CloudWatch 日志流 Amazon CLI 添加到您的应用程序中。有关在应用程序中使用 CloudWatch Logs 的信息,请参阅设置应用程序日志

更新环境属性

在本节中,您使用 UpdateApplication 操作更改应用程序的环境属性,而无需重新编译应用程序代码。在该示例中,您更改源流和目标流的区域。

更新应用程序的环境属性
  1. 将以下 JSON 代码保存到名为 update_properties_request.json 的文件中。

    {"ApplicationName": "test", "CurrentApplicationVersionId": 1, "ApplicationConfigurationUpdate": { "EnvironmentPropertyUpdates": { "PropertyGroups": [ { "PropertyGroupId": "ProducerConfigProperties", "PropertyMap" : { "flink.stream.initpos" : "LATEST", "aws.region" : "us-west-2", "AggregationEnabled" : "false" } }, { "PropertyGroupId": "ConsumerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2" } } ] } } }
  2. 使用前面的请求执行 UpdateApplication 操作以更新环境属性:

    aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json
更新应用程序代码

当您需要使用新版本的代码包更新应用程序代码时,可以使用UpdateApplication Amazon CLI 操作。

注意

要使用相同的文件名加载新版本的应用程序代码,您必须指定新的对象版本。有关使用 Amazon S3 对象版本的更多信息,请参阅启用或禁用版本控制

要使用 Amazon CLI,请从 Amazon S3 存储桶中删除之前的代码包,上传新版本,然后调用UpdateApplication,指定相同的 Amazon S3 存储桶和对象名称以及新的对象版本。应用程序将使用新的代码包重新启动。

以下示例 UpdateApplication 操作请求重新加载应用程序代码并重新启动应用程序。将 CurrentApplicationVersionId 更新为当前的应用程序版本。您可以使用 ListApplicationsDescribeApplication 操作检查当前的应用程序版本。将存储桶名称后缀 (<用户名>) 更新为在创建两个 Amazon Kinesis 数据流一节中选择的后缀。

{ "ApplicationName": "test", "CurrentApplicationVersionId": 1, "ApplicationConfigurationUpdate": { "ApplicationCodeConfigurationUpdate": { "CodeContentUpdate": { "S3ContentLocationUpdate": { "BucketARNUpdate": "arn:aws:s3:::ka-app-code-username", "FileKeyUpdate": "aws-kinesis-analytics-java-apps-1.0.jar", "ObjectVersionUpdate": "SAMPLEUehYngP87ex1nzYIGYgfhypvDU" } } } } }

后续步骤

步骤 4:清理 Amazon 资源

步骤 4:清理 Amazon 资源

本节包括清理入门教程中创建的 Amazon 资源的过程。

删除你的 Apache 托管服务 Flink 应用程序

  1. 打开 Kinesis 控制台,网址为:https://console.aws.amazon.com/kinesis

  2. 在 “适用于 Apache Flink 的托管服务” 面板中,选择。MyApplication

  3. 在应用程序的页面中,选择 删除,然后确认删除。

删除你的 Kinesis 数据流

  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Kinesis Data Streams 面板中,ExampleInputStream选择。

  3. 在该ExampleInputStream页面中,选择 “删除 Kinesis Stream”,然后确认删除。

  4. Kinesis 直播页面中 ExampleOutputStream,选择,选择操作,选择删除,然后确认删除。

删除您的 Amazon S3 对象和存储桶

  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择 ka-app-code- 存储桶。 <username>

  3. 选择 删除,然后输入存储桶名称以确认删除。

删除您的 IAM 资源

  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航栏中,选择策略

  3. 在筛选条件控件中,输入 kinesis

  4. 选择 kinesis-analytics-service--us-MyApplication west-2 策略

  5. 选择 策略操作,然后选择 删除

  6. 在导航栏中,选择 角色

  7. 选择 k inesis-analytics-us-west-2 角色MyApplication

  8. 选择 删除角色,然后确认删除。

删除您的 CloudWatch 资源

  1. 打开 CloudWatch 控制台,网址为 https://console.aws.amazon.com/cloudwatch/

  2. 在导航栏中,选择 日志

  3. 选择 /aws/kinesis-analytics/ 日志组MyApplication

  4. 选择 删除日志组,然后确认删除。

后续步骤

步骤 5:后续步骤

步骤 5:后续步骤

现在,您已经创建并运行了 Managed Service for Apache Flink 应用程序,请参阅以下资源,了解更多 Managed Service for Apache Flink 解决方案。

  • 适用于 Amazon Kinesis 的 Amazon 流数据解决方案:适用于 Amazon Kinesis 的流数据解决方案可自动配置 Amazon 必要的服务,以便轻松捕获、存储、处理和交付流数据。 Amazon 该解决方案为解决流数据用例提供了多种选项。适用于 Apache Flink 的托管服务选项提供了一个 end-to-end流式传输 ETL 示例,演示了一个对模拟的纽约出租车数据运行分析操作的真实应用程序。该解决方案设置了所有必要的 Amazon 资源,例如 IAM 角色和策略、 CloudWatch 控制面板和 CloudWatch 警报。

  • Amazon 适用于 Amazon MSK 的 Amazon 流数据解决方案:适用于 Amazon MSK 的流数据解决方案提供了数据流经生产者、流式存储、消费者和目的地的 Amazon CloudFormation 模板。

  • 带有 Apache Flink 和 Apache Kafka 的 Click stream Lab:点击流用例的端到端实验室,使用适用于 Apache Kafka 的Amazon托管流媒体进行流存储,使用 Managed Service for Apache Flink 进行流处理。

  • 适用于 Apache Flink Workshop 的 Amazon 托管服务在本研讨会中,您将构建一个 end-to-end 流式架构,以近乎实时的方式摄取、分析和可视化流数据。您着手改善纽约市一家出租车公司的运营。您可以近乎实时地分析纽约市出租车队的遥测数据,以优化其车队运营。

  • 学习 Flink:动手训练Apache Flink 官方入门培训,让您开始编写可扩展的流媒体 ETL、分析和事件驱动的应用程序。

    注意

    请注意,Managed Service for Apache Flink 不支持本培训中使用的 Apache Flink 版本 (1.12)。你可以在适用于 Apache Flink 的 Flink 托管服务中使用 Flink 1.15.2。

入门:Flink 1.11.1

本主题包含一个使用 Apache Flink 1.11.1 的 入门指南 (DataStream API) 教程版本。

本节向您介绍适用于 Apache Flink 的托管服务和 API 的基本概念。 DataStream 它介绍了可用于创建和测试应用程序的选项。它还提供了相应的说明以安装所需的工具,以完成本指南中的教程和创建第一个应用程序。

适用于 Apache Flink 应用程序的托管服务的组件

为了处理数据,您的Managed Service for Apache Flink 应用程序使用 Java/Apache Maven 或 Scala 应用程序,该应用程序使用 Apache Flink 运行时处理输入和生成输出。

Managed Service for Apache Flink 应用程序包含以下组件:

  • 运行时属性:您可以使用运行时属性 配置应用程序,而无需重新编译应用程序代码。

  • 源:应用程序通过 使用数据。源连接器从 Kinesis 数据流、Amazon S3 存储桶等读取数据。有关更多信息,请参阅

  • 运算符:应用程序使用一个或多个运算符 以处理数据。运算符可以转换、丰富或聚合数据。有关更多信息,请参阅 DataStream API 操作员

  • 接收器:应用程序使用接收器 将生成的数据发送到外部源。接收器连接器将数据写入 Kinesis 数据流、Firehose 流、Amazon S3 存储桶等。有关更多信息,请参阅 接收器

在创建、编译和打包您的应用程序代码后,您可以将代码包上传到 Amazon Simple Storage Service (Amazon S3) 存储桶中。然后,您创建一个 Managed Service for Apache Flink 应用程序。您在代码包位置中传入一个 Kinesis 数据流以作为流数据源,它通常是接收应用程序处理的数据的流或文件位置。

完成练习的先决条件

要完成本指南中的步骤,您必须满足以下条件:

要开始,请转到步骤 1:设置 Amazon 账户并创建管理员用户

步骤 1:设置 Amazon 账户并创建管理员用户

注册获取 Amazon Web Services 账户

如果您没有 Amazon Web Services 账户,请完成以下步骤来创建一个。

要注册 Amazon Web Services 账户
  1. 打开 https://portal.aws.amazon.com/billing/signup

  2. 按照屏幕上的说明进行操作。

    在注册时,将接到一通电话,要求使用电话键盘输入一个验证码。

    当您注册时 Amazon Web Services 账户,就会创建Amazon Web Services 账户根用户一个。根用户有权访问该账户中的所有 Amazon Web Services 和资源。作为安全最佳实践,请为用户分配管理访问权限,并且只使用根用户来执行需要根用户访问权限的任务

Amazon 注册过程完成后会向您发送一封确认电子邮件。在任何时候,您都可以通过转至 https://aws.amazon.com/ 并选择我的账户来查看当前的账户活动并管理您的账户。

保护 IAM 用户

注册后 Amazon Web Services 账户,开启多重身份验证 (MFA),保护您的管理用户。有关说明,请参阅 IAM 用户指南中的 为 IAM 用户启用虚拟 MFA 设备(控制台)

要允许其他用户访问您的 Amazon Web Services 账户 资源,请创建 IAM 用户。为了保护您的 IAM 用户,请启用 MFA 并仅向 IAM 用户授予执行任务所需的权限。

有关创建和保护 IAM 用户的更多信息,请参阅《IAM 用户指南》中的以下主题:

授权以编程方式访问

如果用户想在 Amazon 外部进行交互,则需要编程访问权限 Amazon Web Services Management Console。 Amazon API 和 Amazon Command Line Interface 所需的访问密钥。可能的话,创建临时凭证,该凭证由一个访问密钥 ID、一个秘密访问密钥和一个指示凭证何时到期的安全令牌组成。

要向用户授予编程式访问权限,请选择以下选项之一。

哪个用户需要编程式访问权限? 目的 方式
IAM 使用短期凭证签署对 Amazon CLI 或 Amazon API 的编程请求(直接或使用 Amazon 软件开发工具包)。 按照 IAM 用户指南中的将临时证书与 Amazon 资源配合使用中的说明进行操作。
IAM

(不推荐使用)

使用长期凭证签署对 Amazon CLI 或 Amazon API 的编程请求(直接或使用 Amazon 软件开发工具包)。
按照《IAM 用户指南》管理 IAM 用户的访问密钥中的说明进行操作。

后续步骤

步骤 2:设置 Amazon Command Line Interface (Amazon CLI)

步骤 2:设置 Amazon Command Line Interface (Amazon CLI)

在此步骤中,您将下载并配置为与适用于 Apache Flink 的托管服务一起使用。 Amazon CLI

注意

本指南中的入门练习假定您使用账户中的管理员凭证 (adminuser) 来执行这些操作。

注意

如果您已经 Amazon CLI 安装了,则可能需要升级才能获得最新功能。有关更多信息,请参阅Amazon Command Line Interface 《用户指南》中的安装 Amazon Command Line Interface。要检查的版本 Amazon CLI,请运行以下命令:

aws --version

本教程中的练习需要以下 Amazon CLI 版本或更高版本:

aws-cli/1.16.63
要设置 Amazon CLI
  1. 下载并配置 Amazon CLI。有关说明,请参阅《Amazon Command Line Interface 用户指南》中的以下主题:

  2. 在文件中为管理员用户添加命名的配置 Amazon CLI config文件。在执行 Amazon CLI 命令时,您将使用此配置文件。有关命名配置文件的更多信息,请参阅《Amazon Command Line Interface 用户指南》中的命名配置文件

    [profile adminuser] aws_access_key_id = adminuser access key ID aws_secret_access_key = adminuser secret access key region = aws-region

    有关可用 Amazon 区域的列表,请参阅中的区域和终端节点Amazon Web Services 一般参考

    注意

    本教程中的示例代码和命令使用美国西部(俄勒冈州)区域。要使用不同的区域,请将本教程的代码和命令中的区域更改为要使用的区域。

  3. 在命令提示符处输入以下帮助命令来验证设置:

    aws help

设置 Amazon 帐户和之后 Amazon CLI,您可以尝试下一个练习,即配置示例应用程序并测试 end-to-end 设置。

后续步骤

步骤 3:创建并运行适用于 Apache Flink 应用程序的托管服务

步骤 3:创建并运行适用于 Apache Flink 应用程序的托管服务

在本练习中,您将创建面向应用程序的 Managed Service for Apache Flink,并将数据流作为源和接收器。

创建两个 Amazon Kinesis 数据流

在为本练习创建 Managed Service for Apache Flink 应用程序之前,请创建两个 Kinesis 数据流(ExampleInputStreamExampleOutputStream)。您的应用程序将这些数据流用于应用程序源和目标流。

可以使用 Amazon Kinesis 控制台或以下 Amazon CLI 命令创建这些流。有关控制台说明,请参阅 Amazon Kinesis Data Streams 开发人员指南中的创建和更新数据流

创建数据流 (Amazon CLI)
  1. 要创建第一个直播 (ExampleInputStream),请使用以下 Amazon Kinesis 命令create-stream Amazon CLI 。

    $ aws kinesis create-stream \ --stream-name ExampleInputStream \ --shard-count 1 \ --region us-west-2 \ --profile adminuser
  2. 要创建应用程序用来写入输出的第二个流,请运行同一命令(将流名称更改为 ExampleOutputStream)。

    $ aws kinesis create-stream \ --stream-name ExampleOutputStream \ --shard-count 1 \ --region us-west-2 \ --profile adminuser

将样本记录写入输入流

在本节中,您使用 Python 脚本将示例记录写入流,以供应用程序处理。

注意

此部分需要 Amazon SDK for Python (Boto)

  1. 使用以下内容创建名为 stock.py 的文件:

    import datetime import json import random import boto3 STREAM_NAME = "ExampleInputStream" def get_data(): return { "EVENT_TIME": datetime.datetime.now().isoformat(), "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]), "PRICE": round(random.random() * 100, 2), } def generate(stream_name, kinesis_client): while True: data = get_data() print(data) kinesis_client.put_record( StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey" ) if __name__ == "__main__": generate(STREAM_NAME, boto3.client("kinesis"))
  2. 在本教程的后面部分,您运行 stock.py 脚本,以将数据发送到应用程序。

    $ python stock.py

下载并查看 Apache Flink 流式传输 Java 代码

此示例的 Java 应用程序代码可从中获得 GitHub。要下载应用程序代码,请执行以下操作:

  1. 使用以下命令克隆远程存储库:

    git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git
  2. 导航到 amazon-kinesis-data-analytics-java-examples/GettingStarted 目录。

请注意有关应用程序代码的以下信息:

  • 项目对象模型 (pom.xml) 文件包含有关应用程序的配置和依赖项的信息,包括 Managed Service for Apache Flink 库。

  • BasicStreamingJob.java 文件包含定义应用程序功能的 main 方法。

  • 应用程序使用 Kinesis 源从源流中进行读取。以下代码段创建 Kinesis 源:

    return env.addSource(new FlinkKinesisConsumer<>(inputStreamName, new SimpleStringSchema(), inputProperties));
  • 您的应用程序使用 StreamExecutionEnvironment 对象创建源和接收连接器以访问外部资源。

  • 该应用程序将使用静态属性创建源和接收连接器。要使用动态应用程序属性,请使用 createSourceFromApplicationPropertiescreateSinkFromApplicationProperties 方法以创建连接器。这些方法读取应用程序的属性来配置连接器。

    有关运行时属性的更多信息,请参阅运行时属性

编译应用程序代码

在本节中,您使用 Apache Maven 编译器创建应用程序的 Java 代码。有关安装 Apache Maven 和 Java 开发工具包 (JDK) 的信息,请参阅满足完成练习的先决条件

编译应用程序代码
  1. 要使用您的应用程序代码,您将其编译和打包成 JAR 文件。您可以通过两种方式之一编译和打包您的代码:

    • 使用命令行 Maven 工具。在包含 pom.xml 文件的目录中通过运行以下命令创建您的 JAR 文件:

      mvn package -Dflink.version=1.11.3
    • 设置开发环境。有关详细信息,请参阅您的开发环境文档。

      注意

      提供的源代码依赖于 Java 11 中的库。确保项目的 Java 版本为 11。

    您可以作为 JAR 文件上传您的包,也可以将包压缩为 ZIP 文件并上传。如果您使用创建应用程序 Amazon CLI,则需要指定代码内容类型(JAR 或 ZIP)。

  2. 如果编译时出错,请验证 JAVA_HOME 环境变量设置正确。

如果应用程序成功编译,则创建以下文件:

target/aws-kinesis-analytics-java-apps-1.0.jar

上传 Apache Flink 直播 Java 代码

在本节中,您创建 Amazon Simple Storage Service (Amazon S3) 存储桶并上传应用程序代码。

上传应用程序代码
  1. 通过 https://console.aws.amazon.com/s3/ 打开 Amazon S3 控制台。

  2. 选择 创建存储桶

  3. 存储桶名称 字段中输入 ka-app-code-<username>。将后缀(如您的用户名)添加到存储桶名称,以使其具有全局唯一性。选择 下一步

  4. 配置选项步骤中,让设置保持原样,然后选择下一步

  5. 设置权限步骤中,让设置保持原样,然后选择下一步

  6. 选择 创建存储桶

  7. 在 Amazon S3 控制台中,选择 ka-app-code- <username>存储桶,然后选择上传

  8. 选择文件步骤中,选择添加文件。导航到您在上一步中创建的 aws-kinesis-analytics-java-apps-1.0.jar 文件。选择 下一步

  9. 您无需更改该对象的任何设置,因此,请选择 上传

您的应用程序代码现在存储在 Amazon S3 存储桶中,应用程序可以在其中访问代码。

创建并运行适用于 Apache 的托管服务 Flink 应用程序

您可以使用控制台或 Amazon CLI创建和运行Managed Service for Apache Flink的应用程序。

注意

当您使用控制台创建应用程序时,系统会为您创建您的 Amazon Identity and Access Management (IAM) 和 A CloudWatch mazon Logs 资源。使用创建应用程序时 Amazon CLI,可以单独创建这些资源。

创建并运行应用程序(控制台)

按照以下步骤,使用控制台创建、配置、更新和运行应用程序。

创建应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Managed Service for Apache Flink 控制面板上,选择创建分析应用程序

  3. Managed Service for Apache Flink - 创建应用程序页面上,提供应用程序详细信息,如下所示:

    • 对于 应用程序名称 ,输入 MyApplication

    • 对于描述,输入 My java test app

    • 对于 运行时,请选择 Apache Flink

    • 将版本下拉列表保留为 Apache Flink 版本 1.11 (建议的版本)

  4. 对于访问权限,请选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  5. 选择创建应用程序

注意

在使用控制台创建应用程序的 Managed Service for Apache Flink时,您可以选择为应用程序创建 IAM 角色和策略。您的应用程序使用此角色和策略访问其从属资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

  • 策略:kinesis-analytics-service-MyApplication-us-west-2

  • 角色:kinesisanalytics-MyApplication-us-west-2

编辑 IAM 政策

编辑 IAM policy 以添加访问 Kinesis 数据流的权限。

  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 选择策略。选择控制台在上一部分中为您创建的 kinesis-analytics-service-MyApplication-us-west-2 策略。

  3. 摘要 页面上,选择 编辑策略。选择 JSON 选项卡。

  4. 将以下策略示例中突出显示的部分添加到策略中。将示例账户 ID (012345678901) 替换为您的账户 ID。

    { "Version": "2012-10-17", "Statement": [ { "Sid": "ReadCode", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": [ "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar" ] }, { "Sid": "DescribeLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*" ] }, { "Sid": "DescribeLogStreams", "Effect": "Allow", "Action": [ "logs:DescribeLogStreams" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*" ] }, { "Sid": "PutLogEvents", "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteOutputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream" } ] }
配置应用程序
  1. MyApplication页面上,选择配置

  2. 配置应用程序 页面上,提供 代码位置

    • 对于Amazon S3 存储桶,请输入ka-app-code-<username>

    • 在 Amazon S3 对象的路径中,输入aws-kinesis-analytics-java-apps-1.0.jar

  3. 对应用程序的访问权限 下,对于 访问权限,选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  4. Properties (属性) 下,对于 Group ID (组 ID),输入 ProducerConfigProperties

  5. 输入以下应用程序属性和值:

    组 ID
    ProducerConfigProperties flink.inputstream.initpos LATEST
    ProducerConfigProperties aws.region us-west-2
    ProducerConfigProperties AggregationEnabled false
  6. 监控 下,确保 监控指标级别 设置为 应用程序

  7. 要进行CloudWatch 日志记录,请选中 “启用” 复选框。

  8. 选择更新

注意

当您选择启用 Amazon CloudWatch 日志时,适用于 Apache Flink 的托管服务会为您创建一个日志组和日志流。这些资源的名称如下所示:

  • 日志组:/aws/kinesis-analytics/MyApplication

  • 日志流:kinesis-analytics-log-stream

运行应用程序

可以通过运行应用程序、打开 Apache Flink 控制面板并选择所需的 Flink 任务来查看 Flink 任务图。

停止应用程序

MyApplication页面上,选择停止。确认该操作。

更新应用程序

使用控制台,您可以更新应用程序设置,例如应用程序属性、监控设置,或应用程序 JAR 文件的位置和文件名。如果您需要更新应用程序代码,您还可以从 Amazon S3 存储桶重新加载应用程序 JAR。

MyApplication页面上,选择配置。更新应用程序设置,然后选择更新

创建并运行应用程序 (Amazon CLI)

在本节中,您将使用创建和运行适用于 Apache Flink 的托管服务应用程序。适用于 Apache Flink 的托管服务使用该kinesisanalyticsv2 Amazon CLI 命令为 Apache Flink 应用程序创建托管服务并与之交互。 Amazon CLI

创建权限策略
注意

您必须为应用程序创建一个权限策略和角色。如果未创建这些 IAM 资源,应用程序将无法访问其数据和日志流。

首先,使用两个语句创建权限策略:一个语句授予对源流执行 read 操作的权限,另一个语句授予对接收器流执行 write 操作的权限。然后,将策略附加到 IAM 角色(下一部分中将创建此角色)。因此,在 Managed Service for Apache Flink代入该角色时,服务具有必要的权限从源流进行读取和写入接收器流。

使用以下代码创建 AKReadSourceStreamWriteSinkStream 权限策略。将 username 替换为您用于创建 Amazon S3 存储桶来存储应用程序代码的用户名。将 Amazon 资源名称 (ARN) 中的账户 ID (012345678901) 替换为您的账户 ID。

{ "Version": "2012-10-17", "Statement": [ { "Sid": "S3", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": ["arn:aws:s3:::ka-app-code-username", "arn:aws:s3:::ka-app-code-username/*" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteOutputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream" } ] }

有关创建权限策略的 step-by-step 说明,请参阅 IAM 用户指南中的教程:创建并附加您的第一个客户托管策略

注意

要访问其他 Amazon 服务,可以使用 Amazon SDK for Java。Managed Service for Apache Flink 会自动将软件开发工具包所需的证书设置为与您的应用程序关联的服务执行 IAM 角色的证书。无需执行其他步骤。

创建 IAM 角色

在本节中,您将创建一个 IAM 角色,应用程序的 Managed Service for Apache Flink可以代入此角色来读取源流和写入接收器流。

权限不足时,Managed Service for Apache Flink 无法访问您的串流。您通过 IAM 角色授予这些权限。每个 IAM 角色附加了两种策略。此信任策略授予 Managed Service for Apache Flink代入该角色的权限,权限策略确定 Managed Service for Apache Flink代入这个角色后可以执行的操作。

您将在上一部分中创建的权限策略附加到此角色。

创建 IAM 角色
  1. 通过以下网址打开 IAM 控制台:https://console.aws.amazon.com/iam/

  2. 在导航窗格中,选择 角色创建角色

  3. 选择受信任实体的类型 下,选择 Amazon 服务。在 选择将使用此角色的服务 下,选择 Kinesis。在选择您的使用案例下,选择 Kinesis Analytics

    选择下一步: 权限

  4. 附加权限策略 页面上,选择 下一步: 审核。在创建角色后,您可以附加权限策略。

  5. 创建角色 页面上,输入MF-stream-rw-role作为角色名称。选择 创建角色

    现在,您已经创建了一个名为 MF-stream-rw-role 的新 IAM 角色。接下来,您更新角色的信任和权限策略。

  6. 将权限策略附加到角色。

    注意

    对于本练习,Managed Service for Apache Flink代入此角色,以便同时从 Kinesis 数据流(源)读取数据和将输出写入另一个 Kinesis 数据流。因此,您附加在上一步(创建权限策略)中创建的策略。

    1. 摘要 页上,选择 权限 选项卡。

    2. 选择附加策略

    3. 在搜索框中,输入 AKReadSourceStreamWriteSinkStream(您在上一部分中创建的策略)。

    4. 选择 A K ReadSourceStreamWriteSinkStream 策略,然后选择附加策略

现在,您已经创建了应用程序用来访问资源的服务执行角色。记下新角色的 ARN。

有关创建角色的 step-by-step 说明,请参阅 IAM 用户指南中的创建 IAM 角色(控制台)

为 Apache Flink 应用程序创建托管服务
  1. 将以下 JSON 代码保存到名为 create_request.json 的文件中。将示例角色 ARN 替换为您之前创建的角色的 ARN。将存储桶 ARN 后缀 (username) 替换为在前一部分中选择的后缀。将服务执行角色中的示例账户 ID (012345678901) 替换为您的账户 ID。

    { "ApplicationName": "test", "ApplicationDescription": "my java test app", "RuntimeEnvironment": "FLINK-1_11", "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role", "ApplicationConfiguration": { "ApplicationCodeConfiguration": { "CodeContent": { "S3ContentLocation": { "BucketARN": "arn:aws:s3:::ka-app-code-username", "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar" } }, "CodeContentType": "ZIPFILE" }, "EnvironmentProperties": { "PropertyGroups": [ { "PropertyGroupId": "ProducerConfigProperties", "PropertyMap" : { "flink.stream.initpos" : "LATEST", "aws.region" : "us-west-2", "AggregationEnabled" : "false" } }, { "PropertyGroupId": "ConsumerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2" } } ] } } }
  2. 使用上述请求执行 CreateApplication 操作来创建应用程序:

    aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

应用程序现已创建。您在下一步中启动应用程序。

启动应用程序

在本节中,您使用 StartApplication 操作来启动应用程序。

启动应用程序
  1. 将以下 JSON 代码保存到名为 start_request.json 的文件中。

    { "ApplicationName": "test", "RunConfiguration": { "ApplicationRestoreConfiguration": { "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT" } } }
  2. 使用上述请求执行 StartApplication 操作来启动应用程序:

    aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

应用程序正在运行。您可以在亚马逊 CloudWatch 控制台上查看托管服务的 Apache Flink 指标,以验证应用程序是否正常运行。

停止应用程序

在本节中,您使用 StopApplication 操作来停止应用程序。

停止应用程序
  1. 将以下 JSON 代码保存到名为 stop_request.json 的文件中。

    { "ApplicationName": "test" }
  2. 使用下面的请求执行 StopApplication 操作来停止应用程序:

    aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

应用程序现已停止。

添加 CloudWatch日志选项

您可以使用将 Amazon CloudWatch 日志流 Amazon CLI 添加到您的应用程序中。有关在应用程序中使用 CloudWatch Logs 的信息,请参阅设置应用程序日志

更新环境属性

在本节中,您使用 UpdateApplication 操作更改应用程序的环境属性,而无需重新编译应用程序代码。在该示例中,您更改源流和目标流的区域。

更新应用程序的环境属性
  1. 将以下 JSON 代码保存到名为 update_properties_request.json 的文件中。

    {"ApplicationName": "test", "CurrentApplicationVersionId": 1, "ApplicationConfigurationUpdate": { "EnvironmentPropertyUpdates": { "PropertyGroups": [ { "PropertyGroupId": "ProducerConfigProperties", "PropertyMap" : { "flink.stream.initpos" : "LATEST", "aws.region" : "us-west-2", "AggregationEnabled" : "false" } }, { "PropertyGroupId": "ConsumerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2" } } ] } } }
  2. 使用前面的请求执行 UpdateApplication 操作以更新环境属性:

    aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json
更新应用程序代码

当您需要使用新版本的代码包更新应用程序代码时,可以使用UpdateApplication Amazon CLI 操作。

注意

要使用相同的文件名加载新版本的应用程序代码,您必须指定新的对象版本。有关使用 Amazon S3 对象版本的更多信息,请参阅启用或禁用版本控制

要使用 Amazon CLI,请从 Amazon S3 存储桶中删除之前的代码包,上传新版本,然后调用UpdateApplication,指定相同的 Amazon S3 存储桶和对象名称以及新的对象版本。应用程序将使用新的代码包重新启动。

以下示例 UpdateApplication 操作请求重新加载应用程序代码并重新启动应用程序。将 CurrentApplicationVersionId 更新为当前的应用程序版本。您可以使用 ListApplicationsDescribeApplication 操作检查当前的应用程序版本。将存储桶名称后缀 (<用户名>) 更新为在创建两个 Amazon Kinesis 数据流一节中选择的后缀。

{ "ApplicationName": "test", "CurrentApplicationVersionId": 1, "ApplicationConfigurationUpdate": { "ApplicationCodeConfigurationUpdate": { "CodeContentUpdate": { "S3ContentLocationUpdate": { "BucketARNUpdate": "arn:aws:s3:::ka-app-code-username", "FileKeyUpdate": "aws-kinesis-analytics-java-apps-1.0.jar", "ObjectVersionUpdate": "SAMPLEUehYngP87ex1nzYIGYgfhypvDU" } } } } }

后续步骤

步骤 4:清理 Amazon 资源

步骤 4:清理 Amazon 资源

本节包括清理入门教程中创建的 Amazon 资源的过程。

删除你的 Apache 托管服务 Flink 应用程序

  1. 打开 Kinesis 控制台,网址为:https://console.aws.amazon.com/kinesis

  2. 在 “适用于 Apache Flink 的托管服务” 面板中,选择。MyApplication

  3. 在应用程序的页面中,选择 删除,然后确认删除。

删除你的 Kinesis 数据流

  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Kinesis Data Streams 面板中,ExampleInputStream选择。

  3. 在该ExampleInputStream页面中,选择 “删除 Kinesis Stream”,然后确认删除。

  4. Kinesis 直播页面中 ExampleOutputStream,选择,选择操作,选择删除,然后确认删除。

删除您的 Amazon S3 对象和存储桶

  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择 ka-app-code- 存储桶。 <username>

  3. 选择 删除,然后输入存储桶名称以确认删除。

删除四个 IAM 资源

  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航栏中,选择策略

  3. 在筛选条件控件中,输入 kinesis

  4. 选择 kinesis-analytics-service--us-MyApplication west-2 策略

  5. 选择 策略操作,然后选择 删除

  6. 在导航栏中,选择 角色

  7. 选择 k inesis-analytics-us-west-2 角色MyApplication

  8. 选择 删除角色,然后确认删除。

删除您的 CloudWatch 资源

  1. 打开 CloudWatch 控制台,网址为 https://console.aws.amazon.com/cloudwatch/

  2. 在导航栏中,选择 日志

  3. 选择 /aws/kinesis-analytics/ 日志组MyApplication

  4. 选择 删除日志组,然后确认删除。

后续步骤

步骤 5:后续步骤

步骤 5:后续步骤

现在,您已经创建并运行了 Managed Service for Apache Flink 应用程序,请参阅以下资源,了解更多 Managed Service for Apache Flink 解决方案。

  • 适用于 Amazon Kinesis 的 Amazon 流数据解决方案:适用于 Amazon Kinesis 的流数据解决方案可自动配置 Amazon 必要的服务,以便轻松捕获、存储、处理和交付流数据。 Amazon 该解决方案为解决流数据用例提供了多种选项。适用于 Apache Flink 的托管服务选项提供了一个 end-to-end流式传输 ETL 示例,演示了一个对模拟的纽约出租车数据运行分析操作的真实应用程序。该解决方案设置了所有必要的 Amazon 资源,例如 IAM 角色和策略、 CloudWatch 控制面板和 CloudWatch 警报。

  • Amazon 适用于 Amazon MSK 的 Amazon 流数据解决方案:适用于 Amazon MSK 的流数据解决方案提供了数据流经生产者、流式存储、消费者和目的地的 Amazon CloudFormation 模板。

  • 带有 Apache Flink 和 Apache Kafka 的 Click stream Lab:点击流用例的端到端实验室,使用适用于 Apache Kafka 的Amazon托管流媒体进行流存储,使用 Managed Service for Apache Flink 进行流处理。

  • 适用于 Apache Flink Workshop 的 Amazon 托管服务在本研讨会中,您将构建一个 end-to-end 流式架构,以近乎实时的方式摄取、分析和可视化流数据。您着手改善纽约市一家出租车公司的运营。您可以近乎实时地分析纽约市出租车队的遥测数据,以优化其车队运营。

  • 学习 Flink:动手训练Apache Flink 官方入门培训,让您开始编写可扩展的流媒体 ETL、分析和事件驱动的应用程序。

    注意

    请注意,Managed Service for Apache Flink 不支持本培训中使用的 Apache Flink 版本 (1.12)。你可以在适用于 Apache Flink 的 Flink 托管服务中使用 Flink 1.15.2。

  • Apache Flink 代码示例包含各种 Apache Flink 应用程序示例的 GitHub 存储库。

入门:Flink 1.8.2

本主题包含一个使用 Apache Flink 1.8.2 的 入门指南 (DataStream API) 教程版本。

适用于 Apache Flink 应用程序的托管服务的组件

为了处理数据,您的Managed Service for Apache Flink 应用程序使用 Java/Apache Maven 或 Scala 应用程序,该应用程序使用 Apache Flink 运行时处理输入和生成输出。

Managed Service for Apache Flink 应用程序包含以下组件:

  • 运行时属性:您可以使用运行时属性 配置应用程序,而无需重新编译应用程序代码。

  • 源:应用程序通过 使用数据。源连接器从 Kinesis 数据流、Amazon S3 存储桶等读取数据。有关更多信息,请参阅

  • 运算符:应用程序使用一个或多个运算符 以处理数据。运算符可以转换、丰富或聚合数据。有关更多信息,请参阅 DataStream API 操作员

  • 接收器:应用程序使用接收器 将生成的数据发送到外部源。接收器连接器将数据写入 Kinesis 数据流、Firehose 流、Amazon S3 存储桶等。有关更多信息,请参阅 接收器

在创建、编译和打包您的应用程序代码后,您可以将代码包上传到 Amazon Simple Storage Service (Amazon S3) 存储桶中。然后,您创建一个 Managed Service for Apache Flink 应用程序。您在代码包位置中传入一个 Kinesis 数据流以作为流数据源,它通常是接收应用程序处理的数据的流或文件位置。

完成练习的先决条件

要完成本指南中的步骤,您必须满足以下条件:

要开始,请转到步骤 1:设置 Amazon 账户并创建管理员用户

步骤 1:设置 Amazon 账户并创建管理员用户

注册获取 Amazon Web Services 账户

如果您没有 Amazon Web Services 账户,请完成以下步骤来创建一个。

要注册 Amazon Web Services 账户
  1. 打开 https://portal.aws.amazon.com/billing/signup

  2. 按照屏幕上的说明进行操作。

    在注册时,将接到一通电话,要求使用电话键盘输入一个验证码。

    当您注册时 Amazon Web Services 账户,就会创建Amazon Web Services 账户根用户一个。根用户有权访问该账户中的所有 Amazon Web Services 和资源。作为安全最佳实践,请为用户分配管理访问权限,并且只使用根用户来执行需要根用户访问权限的任务

Amazon 注册过程完成后会向您发送一封确认电子邮件。在任何时候,您都可以通过转至 https://aws.amazon.com/ 并选择我的账户来查看当前的账户活动并管理您的账户。

保护 IAM 用户

注册后 Amazon Web Services 账户,开启多重身份验证 (MFA),保护您的管理用户。有关说明,请参阅 IAM 用户指南中的 为 IAM 用户启用虚拟 MFA 设备(控制台)

要允许其他用户访问您的 Amazon Web Services 账户 资源,请创建 IAM 用户。为了保护您的 IAM 用户,请启用 MFA 并仅向 IAM 用户授予执行任务所需的权限。

有关创建和保护 IAM 用户的更多信息,请参阅《IAM 用户指南》中的以下主题:

授权以编程方式访问

如果用户想在 Amazon 外部进行交互,则需要编程访问权限 Amazon Web Services Management Console。 Amazon API 和 Amazon Command Line Interface 所需的访问密钥。可能的话,创建临时凭证,该凭证由一个访问密钥 ID、一个秘密访问密钥和一个指示凭证何时到期的安全令牌组成。

要向用户授予编程式访问权限,请选择以下选项之一。

哪个用户需要编程式访问权限? 目的 方式
IAM 使用短期凭证签署对 Amazon CLI 或 Amazon API 的编程请求(直接或使用 Amazon 软件开发工具包)。 按照 IAM 用户指南中的将临时证书与 Amazon 资源配合使用中的说明进行操作。
IAM

(不推荐使用)

使用长期凭证签署对 Amazon CLI 或 Amazon API 的编程请求(直接或使用 Amazon 软件开发工具包)。
按照《IAM 用户指南》管理 IAM 用户的访问密钥中的说明进行操作。

步骤 2:设置 Amazon Command Line Interface (Amazon CLI)

在此步骤中,您将下载并配置为与适用于 Apache Flink 的托管服务一起使用。 Amazon CLI

注意

本指南中的入门练习假定您使用账户中的管理员凭证 (adminuser) 来执行这些操作。

注意

如果您已经 Amazon CLI 安装了,则可能需要升级才能获得最新功能。有关更多信息,请参阅Amazon Command Line Interface 《用户指南》中的安装 Amazon Command Line Interface。要检查的版本 Amazon CLI,请运行以下命令:

aws --version

本教程中的练习需要以下 Amazon CLI 版本或更高版本:

aws-cli/1.16.63
要设置 Amazon CLI
  1. 下载并配置 Amazon CLI。有关说明,请参阅《Amazon Command Line Interface 用户指南》中的以下主题:

  2. 在文件中为管理员用户添加命名的配置 Amazon CLI config文件。在执行 Amazon CLI 命令时,您将使用此配置文件。有关命名配置文件的更多信息,请参阅 Amazon Command Line Interface 用户指南中的命名配置文件

    [profile adminuser] aws_access_key_id = adminuser access key ID aws_secret_access_key = adminuser secret access key region = aws-region

    有关可用区域的列表,请参阅 Amazon Web Services 一般参考中的区域和终端节点

    注意

    本教程中的示例代码和命令使用美国西部(俄勒冈州)区域。要使用其他 Amazon 区域,请将本教程的代码和命令中的区域更改为要使用的区域。

  3. 在命令提示符处输入以下帮助命令来验证设置:

    aws help

设置 Amazon 帐户和之后 Amazon CLI,您可以尝试下一个练习,即配置示例应用程序并测试 end-to-end 设置。

后续步骤

步骤 3:创建并运行适用于 Apache Flink 应用程序的托管服务

步骤 3:创建并运行适用于 Apache Flink 应用程序的托管服务

在本练习中,您将创建面向应用程序的 Managed Service for Apache Flink,并将数据流作为源和接收器。

创建两个 Amazon Kinesis 数据流

在为本练习创建 Managed Service for Apache Flink 应用程序之前,请创建两个 Kinesis 数据流(ExampleInputStreamExampleOutputStream)。您的应用程序将这些数据流用于应用程序源和目标流。

可以使用 Amazon Kinesis 控制台或以下 Amazon CLI 命令创建这些流。有关控制台说明,请参阅 Amazon Kinesis Data Streams 开发人员指南中的创建和更新数据流

创建数据流 (Amazon CLI)
  1. 要创建第一个直播 (ExampleInputStream),请使用以下 Amazon Kinesis 命令create-stream Amazon CLI 。

    $ aws kinesis create-stream \ --stream-name ExampleInputStream \ --shard-count 1 \ --region us-west-2 \ --profile adminuser
  2. 要创建应用程序用来写入输出的第二个流,请运行同一命令(将流名称更改为 ExampleOutputStream)。

    $ aws kinesis create-stream \ --stream-name ExampleOutputStream \ --shard-count 1 \ --region us-west-2 \ --profile adminuser

将样本记录写入输入流

在本节中,您使用 Python 脚本将示例记录写入流,以供应用程序处理。

注意

此部分需要 Amazon SDK for Python (Boto)

  1. 使用以下内容创建名为 stock.py 的文件:

    import datetime import json import random import boto3 STREAM_NAME = "ExampleInputStream" def get_data(): return { "EVENT_TIME": datetime.datetime.now().isoformat(), "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]), "PRICE": round(random.random() * 100, 2), } def generate(stream_name, kinesis_client): while True: data = get_data() print(data) kinesis_client.put_record( StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey" ) if __name__ == "__main__": generate(STREAM_NAME, boto3.client("kinesis"))
  2. 在本教程的后面部分,您运行 stock.py 脚本,以将数据发送到应用程序。

    $ python stock.py

下载并查看 Apache Flink 流式传输 Java 代码

此示例的 Java 应用程序代码可从中获得 GitHub。要下载应用程序代码,请执行以下操作:

  1. 使用以下命令克隆远程存储库:

    git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git
  2. 导航到 amazon-kinesis-data-analytics-java-examples/GettingStarted_1_8 目录。

请注意有关应用程序代码的以下信息:

  • 项目对象模型 (pom.xml) 文件包含有关应用程序的配置和依赖项的信息,包括 Managed Service for Apache Flink 库。

  • BasicStreamingJob.java 文件包含定义应用程序功能的 main 方法。

  • 应用程序使用 Kinesis 源从源流中进行读取。以下代码段创建 Kinesis 源:

    return env.addSource(new FlinkKinesisConsumer<>(inputStreamName, new SimpleStringSchema(), inputProperties));
  • 您的应用程序使用 StreamExecutionEnvironment 对象创建源和接收连接器以访问外部资源。

  • 该应用程序将使用静态属性创建源和接收连接器。要使用动态应用程序属性,请使用 createSourceFromApplicationPropertiescreateSinkFromApplicationProperties 方法以创建连接器。这些方法读取应用程序的属性来配置连接器。

    有关运行时属性的更多信息,请参阅运行时属性

编译应用程序代码

在本节中,您使用 Apache Maven 编译器创建应用程序的 Java 代码。有关安装 Apache Maven 和 Java 开发工具包 (JDK) 的信息,请参阅完成练习的先决条件

注意

要在 1.11 之前的 Apache Flink 版本中使用 Kinesis 连接器,你需要下载、构建和安装 Apache Maven。有关更多信息,请参阅 将 Apache Flink Kinesis Streams 连接器与之前的 Apache Flink 版本一起使用

编译应用程序代码
  1. 要使用您的应用程序代码,您将其编译和打包成 JAR 文件。您可以通过两种方式之一编译和打包您的代码:

    • 使用命令行 Maven 工具。在包含 pom.xml 文件的目录中通过运行以下命令创建您的 JAR 文件:

      mvn package -Dflink.version=1.8.2
    • 设置开发环境。有关详细信息,请参阅您的开发环境文档。

      注意

      提供的源代码依赖于 Java 1.8 中的库。确保项目的 Java 版本为 1.8。

    您可以作为 JAR 文件上传您的包,也可以将包压缩为 ZIP 文件并上传。如果您使用创建应用程序 Amazon CLI,则需要指定代码内容类型(JAR 或 ZIP)。

  2. 如果编译时出错,请验证 JAVA_HOME 环境变量设置正确。

如果应用程序成功编译,则创建以下文件:

target/aws-kinesis-analytics-java-apps-1.0.jar

上传 Apache Flink 直播 Java 代码

在本节中,您创建 Amazon Simple Storage Service (Amazon S3) 存储桶并上传应用程序代码。

上传应用程序代码
  1. 通过 https://console.aws.amazon.com/s3/ 打开 Amazon S3 控制台。

  2. 选择 创建存储桶

  3. 存储桶名称 字段中输入 ka-app-code-<username>。将后缀(如您的用户名)添加到存储桶名称,以使其具有全局唯一性。选择 下一步

  4. 配置选项步骤中,让设置保持原样,然后选择下一步

  5. 设置权限步骤中,让设置保持原样,然后选择下一步

  6. 选择 创建存储桶

  7. 在 Amazon S3 控制台中,选择 ka-app-code- <username>存储桶,然后选择上传

  8. 选择文件步骤中,选择添加文件。导航到您在上一步中创建的 aws-kinesis-analytics-java-apps-1.0.jar 文件。选择 下一步

  9. 您无需更改该对象的任何设置,因此,请选择 上传

您的应用程序代码现在存储在 Amazon S3 存储桶中,应用程序可以在其中访问代码。

创建并运行适用于 Apache 的托管服务 Flink 应用程序

您可以使用控制台或 Amazon CLI创建和运行Managed Service for Apache Flink的应用程序。

注意

当您使用控制台创建应用程序时,系统会为您创建您的 Amazon Identity and Access Management (IAM) 和 A CloudWatch mazon Logs 资源。使用创建应用程序时 Amazon CLI,可以单独创建这些资源。

创建并运行应用程序(控制台)

按照以下步骤,使用控制台创建、配置、更新和运行应用程序。

创建应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Managed Service for Apache Flink 控制面板上,选择创建分析应用程序

  3. Managed Service for Apache Flink - 创建应用程序页面上,提供应用程序详细信息,如下所示:

    • 对于 应用程序名称 ,输入 MyApplication

    • 对于描述,输入 My java test app

    • 对于 运行时,请选择 Apache Flink

    • 将版本下拉列表保留为 Apache Flink 1.8 (Recommended Version) (Apache Flink 1.8 (建议的版本))

  4. 对于访问权限,请选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  5. 选择创建应用程序

注意

在使用控制台创建应用程序的 Managed Service for Apache Flink时,您可以选择为应用程序创建 IAM 角色和策略。您的应用程序使用此角色和策略访问其从属资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

  • 策略:kinesis-analytics-service-MyApplication-us-west-2

  • 角色:kinesisanalytics-MyApplication-us-west-2

编辑 IAM 政策

编辑 IAM policy 以添加访问 Kinesis 数据流的权限。

  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 选择策略。选择控制台在上一部分中为您创建的 kinesis-analytics-service-MyApplication-us-west-2 策略。

  3. 摘要 页面上,选择 编辑策略。选择 JSON 选项卡。

  4. 将以下策略示例中突出显示的部分添加到策略中。将示例账户 ID (012345678901) 替换为您的账户 ID。

    { "Version": "2012-10-17", "Statement": [ { "Sid": "ReadCode", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": [ "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar" ] }, { "Sid": "DescribeLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*" ] }, { "Sid": "DescribeLogStreams", "Effect": "Allow", "Action": [ "logs:DescribeLogStreams" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*" ] }, { "Sid": "PutLogEvents", "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteOutputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream" } ] }
配置应用程序
  1. MyApplication页面上,选择配置

  2. 配置应用程序 页面上,提供 代码位置

    • 对于Amazon S3 存储桶,请输入ka-app-code-<username>

    • 在 Amazon S3 对象的路径中,输入aws-kinesis-analytics-java-apps-1.0.jar

  3. 对应用程序的访问权限 下,对于 访问权限,选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  4. 输入以下应用程序属性和值:

    组 ID
    ProducerConfigProperties flink.inputstream.initpos LATEST
    ProducerConfigProperties aws.region us-west-2
    ProducerConfigProperties AggregationEnabled false
  5. 监控 下,确保 监控指标级别 设置为 应用程序

  6. 要进行CloudWatch 日志记录,请选中 “启用” 复选框。

  7. 选择更新

注意

当您选择启用 Amazon CloudWatch 日志时,适用于 Apache Flink 的托管服务会为您创建一个日志组和日志流。这些资源的名称如下所示:

  • 日志组:/aws/kinesis-analytics/MyApplication

  • 日志流:kinesis-analytics-log-stream

运行应用程序
  1. MyApplication页面上,选择 “运行”。确认该操作。

  2. 当应用程序正在运行时,请刷新页面。控制台将显示 Application graph (应用程序图表)

停止应用程序

MyApplication页面上,选择停止。确认该操作。

更新应用程序

使用控制台,您可以更新应用程序设置,例如应用程序属性、监控设置,或应用程序 JAR 文件的位置和文件名。如果您需要更新应用程序代码,您还可以从 Amazon S3 存储桶重新加载应用程序 JAR。

MyApplication页面上,选择配置。更新应用程序设置,然后选择更新

创建并运行应用程序 (Amazon CLI)

在本节中,您将使用创建和运行适用 Amazon CLI 于 Apache Flink 的托管服务应用程序。适用于 Apache Flink 的托管服务使用该kinesisanalyticsv2 Amazon CLI 命令为 Apache Flink 应用程序创建托管服务并与之交互。

创建权限策略
注意

您必须为应用程序创建一个权限策略和角色。如果未创建这些 IAM 资源,应用程序将无法访问其数据和日志流。

首先,使用两个语句创建权限策略:一个语句授予对源流执行 read 操作的权限,另一个语句授予对接收器流执行 write 操作的权限。然后,将策略附加到 IAM 角色(下一部分中将创建此角色)。因此,在 Managed Service for Apache Flink代入该角色时,服务具有必要的权限从源流进行读取和写入接收器流。

使用以下代码创建 AKReadSourceStreamWriteSinkStream 权限策略。将 username 替换为您用于创建 Amazon S3 存储桶来存储应用程序代码的用户名。将 Amazon 资源名称 (ARN) 中的账户 ID (012345678901) 替换为您的账户 ID。

{ "Version": "2012-10-17", "Statement": [ { "Sid": "S3", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": ["arn:aws:s3:::ka-app-code-username", "arn:aws:s3:::ka-app-code-username/*" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteOutputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream" } ] }

有关创建权限策略的 step-by-step 说明,请参阅 IAM 用户指南中的教程:创建并附加您的第一个客户托管策略

注意

要访问其他 Amazon 服务,可以使用 Amazon SDK for Java。Managed Service for Apache Flink 会自动将软件开发工具包所需的证书设置为与您的应用程序关联的服务执行 IAM 角色的证书。无需执行其他步骤。

创建 IAM 角色

在本节中,您将创建一个 IAM 角色,应用程序的 Managed Service for Apache Flink可以代入此角色来读取源流和写入接收器流。

权限不足时,Managed Service for Apache Flink 无法访问您的串流。您通过 IAM 角色授予这些权限。每个 IAM 角色附加了两种策略。此信任策略授予 Managed Service for Apache Flink代入该角色的权限,权限策略确定 Managed Service for Apache Flink代入这个角色后可以执行的操作。

您将在上一部分中创建的权限策略附加到此角色。

创建 IAM 角色
  1. 通过以下网址打开 IAM 控制台:https://console.aws.amazon.com/iam/

  2. 在导航窗格中,选择 角色创建角色

  3. 选择受信任实体的类型 下,选择 Amazon 服务。在 选择将使用此角色的服务 下,选择 Kinesis。在选择您的使用案例下,选择 Kinesis Analytics

    选择下一步: 权限

  4. 附加权限策略 页面上,选择 下一步: 审核。在创建角色后,您可以附加权限策略。

  5. 创建角色 页面上,输入MF-stream-rw-role作为角色名称。选择 创建角色

    现在,您已经创建了一个名为 MF-stream-rw-role 的新 IAM 角色。接下来,您更新角色的信任和权限策略。

  6. 将权限策略附加到角色。

    注意

    对于本练习,Managed Service for Apache Flink代入此角色,以便同时从 Kinesis 数据流(源)读取数据和将输出写入另一个 Kinesis 数据流。因此,您附加在上一步(创建权限策略)中创建的策略。

    1. 摘要 页上,选择 权限 选项卡。

    2. 选择附加策略

    3. 在搜索框中,输入 AKReadSourceStreamWriteSinkStream(您在上一部分中创建的策略)。

    4. 选择 A K ReadSourceStreamWriteSinkStream 策略,然后选择附加策略

现在,您已经创建了应用程序用来访问资源的服务执行角色。记下新角色的 ARN。

有关创建角色的 step-by-step 说明,请参阅 IAM 用户指南中的创建 IAM 角色(控制台)

为 Apache Flink 应用程序创建托管服务
  1. 将以下 JSON 代码保存到名为 create_request.json 的文件中。将示例角色 ARN 替换为您之前创建的角色的 ARN。将存储桶 ARN 后缀 (username) 替换为在前一部分中选择的后缀。将服务执行角色中的示例账户 ID (012345678901) 替换为您的账户 ID。

    { "ApplicationName": "test", "ApplicationDescription": "my java test app", "RuntimeEnvironment": "FLINK-1_8", "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role", "ApplicationConfiguration": { "ApplicationCodeConfiguration": { "CodeContent": { "S3ContentLocation": { "BucketARN": "arn:aws:s3:::ka-app-code-username", "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar" } }, "CodeContentType": "ZIPFILE" }, "EnvironmentProperties": { "PropertyGroups": [ { "PropertyGroupId": "ProducerConfigProperties", "PropertyMap" : { "flink.stream.initpos" : "LATEST", "aws.region" : "us-west-2", "AggregationEnabled" : "false" } }, { "PropertyGroupId": "ConsumerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2" } } ] } } }
  2. 使用上述请求执行 CreateApplication 操作来创建应用程序:

    aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

应用程序现已创建。您在下一步中启动应用程序。

启动应用程序

在本节中,您使用 StartApplication 操作来启动应用程序。

启动应用程序
  1. 将以下 JSON 代码保存到名为 start_request.json 的文件中。

    { "ApplicationName": "test", "RunConfiguration": { "ApplicationRestoreConfiguration": { "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT" } } }
  2. 使用上述请求执行 StartApplication 操作来启动应用程序:

    aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

应用程序正在运行。您可以在亚马逊 CloudWatch 控制台上查看托管服务的 Apache Flink 指标,以验证应用程序是否正常运行。

停止应用程序

在本节中,您使用 StopApplication 操作来停止应用程序。

停止应用程序
  1. 将以下 JSON 代码保存到名为 stop_request.json 的文件中。

    { "ApplicationName": "test" }
  2. 使用下面的请求执行 StopApplication 操作来停止应用程序:

    aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

应用程序现已停止。

添加 CloudWatch 日志选项

您可以使用将 Amazon CloudWatch 日志流 Amazon CLI 添加到您的应用程序中。有关在应用程序中使用 CloudWatch Logs 的信息,请参阅设置应用程序日志

更新环境属性

在本节中,您使用 UpdateApplication 操作更改应用程序的环境属性,而无需重新编译应用程序代码。在该示例中,您更改源流和目标流的区域。

更新应用程序的环境属性
  1. 将以下 JSON 代码保存到名为 update_properties_request.json 的文件中。

    {"ApplicationName": "test", "CurrentApplicationVersionId": 1, "ApplicationConfigurationUpdate": { "EnvironmentPropertyUpdates": { "PropertyGroups": [ { "PropertyGroupId": "ProducerConfigProperties", "PropertyMap" : { "flink.stream.initpos" : "LATEST", "aws.region" : "us-west-2", "AggregationEnabled" : "false" } }, { "PropertyGroupId": "ConsumerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2" } } ] } } }
  2. 使用前面的请求执行 UpdateApplication 操作以更新环境属性:

    aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json
更新应用程序代码

当您需要使用新版本的代码包更新应用程序代码时,可以使用UpdateApplication Amazon CLI 操作。

注意

要使用相同的文件名加载新版本的应用程序代码,您必须指定新的对象版本。有关使用 Amazon S3 对象版本的更多信息,请参阅启用或禁用版本控制

要使用 Amazon CLI,请从 Amazon S3 存储桶中删除之前的代码包,上传新版本,然后调用UpdateApplication,指定相同的 Amazon S3 存储桶和对象名称以及新的对象版本。应用程序将使用新的代码包重新启动。

以下示例 UpdateApplication 操作请求重新加载应用程序代码并重新启动应用程序。将 CurrentApplicationVersionId 更新为当前的应用程序版本。您可以使用 ListApplicationsDescribeApplication 操作检查当前的应用程序版本。将存储桶名称后缀 (<用户名>) 更新为在创建两个 Amazon Kinesis 数据流一节中选择的后缀。

{ "ApplicationName": "test", "CurrentApplicationVersionId": 1, "ApplicationConfigurationUpdate": { "ApplicationCodeConfigurationUpdate": { "CodeContentUpdate": { "S3ContentLocationUpdate": { "BucketARNUpdate": "arn:aws:s3:::ka-app-code-username", "FileKeyUpdate": "aws-kinesis-analytics-java-apps-1.0.jar", "ObjectVersionUpdate": "SAMPLEUehYngP87ex1nzYIGYgfhypvDU" } } } } }

后续步骤

步骤 4:清理 Amazon 资源

步骤 4:清理 Amazon 资源

本节包括清理入门教程中创建的 Amazon 资源的过程。

删除你的 Apache 托管服务 Flink 应用程序

  1. 打开 Kinesis 控制台,网址为:https://console.aws.amazon.com/kinesis

  2. 在 “适用于 Apache Flink 的托管服务” 面板中,选择。MyApplication

  3. 选择 配置

  4. Snapshots (快照) 部分中,选择 Disable (禁用),然后选择 Update (更新)

  5. 在应用程序的页面中,选择 删除,然后确认删除。

删除你的 Kinesis 数据流

  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Kinesis Data Streams 面板中,ExampleInputStream选择。

  3. 在该ExampleInputStream页面中,选择 “删除 Kinesis Stream”,然后确认删除。

  4. Kinesis 直播页面中 ExampleOutputStream,选择,选择操作,选择删除,然后确认删除。

删除您的 Amazon S3 对象和存储桶

  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择 ka-app-code- 存储桶。 <username>

  3. 选择 删除,然后输入存储桶名称以确认删除。

删除您的 IAM 资源

  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航栏中,选择策略

  3. 在筛选条件控件中,输入 kinesis

  4. 选择 kinesis-analytics-service--us-MyApplication west-2 策略

  5. 选择 策略操作,然后选择 删除

  6. 在导航栏中,选择 角色

  7. 选择 k inesis-analytics-us-west-2 角色MyApplication

  8. 选择 删除角色,然后确认删除。

删除您的 CloudWatch 资源

  1. 打开 CloudWatch 控制台,网址为 https://console.aws.amazon.com/cloudwatch/

  2. 在导航栏中,选择 日志

  3. 选择 /aws/kinesis-analytics/ 日志组MyApplication

  4. 选择 删除日志组,然后确认删除。

入门:Flink 1.6.2

本主题包含一个使用 Apache Flink 1.6.2 的 入门指南 (DataStream API) 教程版本。

适用于 Apache Flink 应用程序的托管服务的组件

为了处理数据,您的Managed Service for Apache Flink 应用程序使用 Java/Apache Maven 或 Scala 应用程序,该应用程序使用 Apache Flink 运行时处理输入和生成输出。

Managed Service for Apache Flink 应用程序包含以下组件:

  • 运行时属性:您可以使用运行时属性 配置应用程序,而无需重新编译应用程序代码。

  • 源:应用程序通过 使用数据。源连接器从 Kinesis 数据流、Amazon S3 存储桶等读取数据。有关更多信息,请参阅

  • 运算符:应用程序使用一个或多个运算符 以处理数据。运算符可以转换、丰富或聚合数据。有关更多信息,请参阅 DataStream API 操作员

  • 接收器:应用程序使用接收器 将生成的数据发送到外部源。接收器连接器将数据写入 Kinesis 数据流、Firehose 流、Amazon S3 存储桶等。有关更多信息,请参阅 接收器

在创建、编译和打包应用程序后,您可以将代码包上传到 Amazon Simple Storage Service (Amazon S3) 存储桶中。然后,您创建一个 Managed Service for Apache Flink 应用程序。您在代码包位置中传入一个 Kinesis 数据流以作为流数据源,它通常是接收应用程序处理的数据的流或文件位置。

完成练习的先决条件

要完成本指南中的步骤,您必须满足以下条件:

要开始,请转到步骤 1:设置 Amazon 账户并创建管理员用户

步骤 1:设置 Amazon 账户并创建管理员用户

注册获取 Amazon Web Services 账户

如果您没有 Amazon Web Services 账户,请完成以下步骤来创建一个。

要注册 Amazon Web Services 账户
  1. 打开 https://portal.aws.amazon.com/billing/signup

  2. 按照屏幕上的说明进行操作。

    在注册时,将接到一通电话,要求使用电话键盘输入一个验证码。

    当您注册时 Amazon Web Services 账户,就会创建Amazon Web Services 账户根用户一个。根用户有权访问该账户中的所有 Amazon Web Services 和资源。作为安全最佳实践,请为用户分配管理访问权限,并且只使用根用户来执行需要根用户访问权限的任务

Amazon 注册过程完成后会向您发送一封确认电子邮件。在任何时候,您都可以通过转至 https://aws.amazon.com/ 并选择我的账户来查看当前的账户活动并管理您的账户。

保护 IAM 用户

注册后 Amazon Web Services 账户,开启多重身份验证 (MFA),保护您的管理用户。有关说明,请参阅 IAM 用户指南中的 为 IAM 用户启用虚拟 MFA 设备(控制台)

要允许其他用户访问您的 Amazon Web Services 账户 资源,请创建 IAM 用户。为了保护您的 IAM 用户,请启用 MFA 并仅向 IAM 用户授予执行任务所需的权限。

有关创建和保护 IAM 用户的更多信息,请参阅《IAM 用户指南》中的以下主题:

授权以编程方式访问

如果用户想在 Amazon 外部进行交互,则需要编程访问权限 Amazon Web Services Management Console。 Amazon API 和 Amazon Command Line Interface 所需的访问密钥。可能的话,创建临时凭证,该凭证由一个访问密钥 ID、一个秘密访问密钥和一个指示凭证何时到期的安全令牌组成。

要向用户授予编程式访问权限,请选择以下选项之一。

哪个用户需要编程式访问权限? 目的 方式
IAM 使用短期凭证签署对 Amazon CLI 或 Amazon API 的编程请求(直接或使用 Amazon 软件开发工具包)。 按照 IAM 用户指南中的将临时证书与 Amazon 资源配合使用中的说明进行操作。
IAM

(不推荐使用)

使用长期凭证签署对 Amazon CLI 或 Amazon API 的编程请求(直接或使用 Amazon 软件开发工具包)。
按照《IAM 用户指南》管理 IAM 用户的访问密钥中的说明进行操作。

步骤 2:设置 Amazon Command Line Interface (Amazon CLI)

在此步骤中,您将下载并配置为与适用于 Apache Flink 的托管服务一起使用。 Amazon CLI

注意

本指南中的入门练习假定您使用账户中的管理员凭证 (adminuser) 来执行这些操作。

注意

如果您已经 Amazon CLI 安装了,则可能需要升级才能获得最新功能。有关更多信息,请参阅Amazon Command Line Interface 《用户指南》中的安装 Amazon Command Line Interface。要检查的版本 Amazon CLI,请运行以下命令:

aws --version

本教程中的练习需要以下 Amazon CLI 版本或更高版本:

aws-cli/1.16.63
要设置 Amazon CLI
  1. 下载并配置 Amazon CLI。有关说明,请参阅《Amazon Command Line Interface 用户指南》中的以下主题:

  2. 在文件中为管理员用户添加命名的配置 Amazon CLI config文件。在执行 Amazon CLI 命令时,您将使用此配置文件。有关命名配置文件的更多信息,请参阅《Amazon Command Line Interface 用户指南》中的命名配置文件

    [profile adminuser] aws_access_key_id = adminuser access key ID aws_secret_access_key = adminuser secret access key region = aws-region

    有关可用 Amazon 区域的列表,请参阅中的区域和终端节点Amazon Web Services 一般参考

    注意

    本教程中的示例代码和命令使用美国西部(俄勒冈州)区域。要使用不同的区域,请将本教程的代码和命令中的区域更改为要使用的区域。

  3. 在命令提示符处输入以下帮助命令来验证设置:

    aws help

设置 Amazon 帐户和之后 Amazon CLI,您可以尝试下一个练习,即配置示例应用程序并测试 end-to-end 设置。

后续步骤

步骤 3:创建并运行适用于 Apache Flink 应用程序的托管服务

步骤 3:创建并运行适用于 Apache Flink 应用程序的托管服务

在本练习中,您将创建面向应用程序的 Managed Service for Apache Flink,并将数据流作为源和接收器。

创建两个 Amazon Kinesis 数据流

在为本练习创建 Managed Service for Apache Flink 应用程序之前,请创建两个 Kinesis 数据流(ExampleInputStreamExampleOutputStream)。您的应用程序将这些数据流用于应用程序源和目标流。

可以使用 Amazon Kinesis 控制台或以下 Amazon CLI 命令创建这些流。有关控制台说明,请参阅 Amazon Kinesis Data Streams 开发人员指南中的创建和更新数据流

创建数据流 (Amazon CLI)
  1. 要创建第一个直播 (ExampleInputStream),请使用以下 Amazon Kinesis 命令create-stream Amazon CLI 。

    $ aws kinesis create-stream \ --stream-name ExampleInputStream \ --shard-count 1 \ --region us-west-2 \ --profile adminuser
  2. 要创建应用程序用来写入输出的第二个流,请运行同一命令(将流名称更改为 ExampleOutputStream)。

    $ aws kinesis create-stream \ --stream-name ExampleOutputStream \ --shard-count 1 \ --region us-west-2 \ --profile adminuser

将样本记录写入输入流

在本节中,您使用 Python 脚本将示例记录写入流,以供应用程序处理。

注意

此部分需要 Amazon SDK for Python (Boto)

  1. 使用以下内容创建名为 stock.py 的文件:

    import datetime import json import random import boto3 STREAM_NAME = "ExampleInputStream" def get_data(): return { "EVENT_TIME": datetime.datetime.now().isoformat(), "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]), "PRICE": round(random.random() * 100, 2), } def generate(stream_name, kinesis_client): while True: data = get_data() print(data) kinesis_client.put_record( StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey" ) if __name__ == "__main__": generate(STREAM_NAME, boto3.client("kinesis"))
  2. 在本教程的后面部分,您运行 stock.py 脚本,以将数据发送到应用程序。

    $ python stock.py

下载并查看 Apache Flink 流式传输 Java 代码

此示例的 Java 应用程序代码可从中获得 GitHub。要下载应用程序代码,请执行以下操作:

  1. 使用以下命令克隆远程存储库:

    git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git
  2. 导航到 amazon-kinesis-data-analytics-java-examples/GettingStarted_1_6 目录。

请注意有关应用程序代码的以下信息:

  • 项目对象模型 (pom.xml) 文件包含有关应用程序的配置和依赖项的信息,包括Managed Service for Apache Flink库。

  • BasicStreamingJob.java 文件包含定义应用程序功能的 main 方法。

  • 应用程序使用 Kinesis 源从源流中进行读取。以下代码段创建 Kinesis 源:

    return env.addSource(new FlinkKinesisConsumer<>(inputStreamName, new SimpleStringSchema(), inputProperties));
  • 您的应用程序使用 StreamExecutionEnvironment 对象创建源和接收连接器以访问外部资源。

  • 该应用程序将使用静态属性创建源和接收连接器。要使用动态应用程序属性,请使用 createSourceFromApplicationPropertiescreateSinkFromApplicationProperties 方法以创建连接器。这些方法读取应用程序的属性来配置连接器。

    有关运行时属性的更多信息,请参阅运行时属性

编译应用程序代码

在本节中,您使用 Apache Maven 编译器创建应用程序的 Java 代码。有关安装 Apache Maven 和 Java 开发工具包 (JDK) 的信息,请参阅完成练习的先决条件

注意

要将 Kinesis 连接器与 1.11 之前的 Apache Flink 版本一起使用,您需要下载连接器源代码并构建该连接器,如 Apache Flink 文档中所述

编译应用程序代码
  1. 要使用您的应用程序代码,您将其编译和打包成 JAR 文件。您可以通过两种方式之一编译和打包您的代码:

    • 使用命令行 Maven 工具。在包含 pom.xml 文件的目录中通过运行以下命令创建您的 JAR 文件:

      mvn package
      注意

      Managed Service for Apache Flink 运行时系统版本 1.0.1 不需要 -Dflink.version 参数;仅 1.1.0 及更高版本需要使用该参数。有关更多信息,请参阅 指定应用程序的 Apache Flink 版本

    • 设置开发环境。有关详细信息,请参阅您的开发环境文档。

    您可以作为 JAR 文件上传您的包,也可以将包压缩为 ZIP 文件并上传。如果您使用创建应用程序 Amazon CLI,则需要指定代码内容类型(JAR 或 ZIP)。

  2. 如果编译时出错,请验证 JAVA_HOME 环境变量设置正确。

如果应用程序成功编译,则创建以下文件:

target/aws-kinesis-analytics-java-apps-1.0.jar

上传 Apache Flink 直播 Java 代码

在本节中,您创建 Amazon Simple Storage Service (Amazon S3) 存储桶并上传应用程序代码。

上传应用程序代码
  1. 通过 https://console.aws.amazon.com/s3/ 打开 Amazon S3 控制台。

  2. 选择 创建存储桶

  3. 存储桶名称 字段中输入 ka-app-code-<username>。将后缀(如您的用户名)添加到存储桶名称,以使其具有全局唯一性。选择 下一步

  4. 配置选项步骤中,让设置保持原样,然后选择下一步

  5. 设置权限步骤中,让设置保持原样,然后选择下一步

  6. 选择 创建存储桶

  7. 在 Amazon S3 控制台中,选择 ka-app-code- <username>存储桶,然后选择上传

  8. 选择文件步骤中,选择添加文件。导航到您在上一步中创建的 aws-kinesis-analytics-java-apps-1.0.jar 文件。选择 下一步

  9. 设置权限步骤中,让设置保持原样。选择 下一步

  10. 设置属性步骤中,让设置保持原样。选择上传

您的应用程序代码现在存储在 Amazon S3 存储桶中,应用程序可以在其中访问代码。

创建并运行适用于 Apache 的托管服务 Flink 应用程序

您可以使用控制台或 Amazon CLI创建和运行Managed Service for Apache Flink的应用程序。

注意

当您使用控制台创建应用程序时,系统会为您创建您的 Amazon Identity and Access Management (IAM) 和 A CloudWatch mazon Logs 资源。使用创建应用程序时 Amazon CLI,可以单独创建这些资源。

创建并运行应用程序(控制台)

按照以下步骤,使用控制台创建、配置、更新和运行应用程序。

创建应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Managed Service for Apache Flink 控制面板上,选择创建分析应用程序

  3. Managed Service for Apache Flink - 创建应用程序页面上,提供应用程序详细信息,如下所示:

    • 对于 应用程序名称 ,输入 MyApplication

    • 对于描述,输入 My java test app

    • 对于 运行时,请选择 Apache Flink

      注意

      Managed Service for Apache Flink使用 Apache Flink 版本 1.8.2 或 1.6.2。

    • 将版本下拉列表更改为 Apache Flink 1.6

  4. 对于访问权限,请选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  5. 选择创建应用程序

注意

在使用控制台创建应用程序的 Managed Service for Apache Flink时,您可以选择为应用程序创建 IAM 角色和策略。您的应用程序使用此角色和策略访问其从属资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

  • 策略:kinesis-analytics-service-MyApplication-us-west-2

  • 角色:kinesisanalytics-MyApplication-us-west-2

编辑 IAM 政策

编辑 IAM policy 以添加访问 Kinesis 数据流的权限。

  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 选择策略。选择控制台在上一部分中为您创建的 kinesis-analytics-service-MyApplication-us-west-2 策略。

  3. 摘要 页面上,选择 编辑策略。选择 JSON 选项卡。

  4. 将以下策略示例中突出显示的部分添加到策略中。将示例账户 ID (012345678901) 替换为您的账户 ID。

    { "Version": "2012-10-17", "Statement": [ { "Sid": "ReadCode", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": [ "arn:aws:s3:::ka-app-code-username/java-getting-started-1.0.jar" ] }, { "Sid": "DescribeLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*" ] }, { "Sid": "DescribeLogStreams", "Effect": "Allow", "Action": [ "logs:DescribeLogStreams" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*" ] }, { "Sid": "PutLogEvents", "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteOutputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream" } ] }
配置应用程序
  1. MyApplication页面上,选择配置

  2. 配置应用程序 页面上,提供 代码位置

    • 对于Amazon S3 存储桶,请输入ka-app-code-<username>

    • 在 Amazon S3 对象的路径中,输入java-getting-started-1.0.jar

  3. 对应用程序的访问权限 下,对于 访问权限,选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  4. 输入以下应用程序属性和值:

    组 ID
    ProducerConfigProperties flink.inputstream.initpos LATEST
    ProducerConfigProperties aws.region us-west-2
    ProducerConfigProperties AggregationEnabled false
  5. 监控 下,确保 监控指标级别 设置为 应用程序

  6. 要进行CloudWatch 日志记录,请选中 “启用” 复选框。

  7. 选择更新

注意

当您选择启用 Amazon CloudWatch 日志时,适用于 Apache Flink 的托管服务会为您创建一个日志组和日志流。这些资源的名称如下所示:

  • 日志组:/aws/kinesis-analytics/MyApplication

  • 日志流:kinesis-analytics-log-stream

运行应用程序
  1. MyApplication页面上,选择 “运行”。确认该操作。

  2. 当应用程序正在运行时,请刷新页面。控制台将显示 Application graph (应用程序图表)

停止应用程序

MyApplication页面上,选择停止。确认该操作。

更新应用程序

使用控制台,您可以更新应用程序设置,例如应用程序属性、监控设置,或应用程序 JAR 文件的位置和文件名。如果您需要更新应用程序代码,您还可以从 Amazon S3 存储桶重新加载应用程序 JAR。

MyApplication页面上,选择配置。更新应用程序设置,然后选择更新

创建并运行应用程序 (Amazon CLI)

在本节中,您将使用创建和运行适用 Amazon CLI 于 Apache Flink 的托管服务应用程序。适用于 Apache Flink 的托管服务使用该kinesisanalyticsv2 Amazon CLI 命令为 Apache Flink 应用程序创建托管服务并与之交互。

创建权限策略

首先,使用两个语句创建权限策略:一个语句授予对源流执行 read 操作的权限,另一个语句授予对接收器流执行 write 操作的权限。然后,将策略附加到 IAM 角色(下一部分中将创建此角色)。因此,在 Managed Service for Apache Flink代入该角色时,服务具有必要的权限从源流进行读取和写入接收器流。

使用以下代码创建 AKReadSourceStreamWriteSinkStream 权限策略。将 username 替换为您用于创建 Amazon S3 存储桶来存储应用程序代码的用户名。将 Amazon 资源名称 (ARN) 中的账户 ID (012345678901) 替换为您的账户 ID。

{ "Version": "2012-10-17", "Statement": [ { "Sid": "S3", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": ["arn:aws:s3:::ka-app-code-username", "arn:aws:s3:::ka-app-code-username/*" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteOutputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream" } ] }

有关创建权限策略的 step-by-step 说明,请参阅 IAM 用户指南中的教程:创建并附加您的第一个客户托管策略

注意

要访问其他 Amazon 服务,可以使用 Amazon SDK for Java。Managed Service for Apache Flink 会自动将软件开发工具包所需的证书设置为与您的应用程序关联的服务执行 IAM 角色的证书。无需执行其他步骤。

创建 IAM 角色

在本节中,您将创建一个 IAM 角色,应用程序的 Managed Service for Apache Flink可以代入此角色来读取源流和写入接收器流。

权限不足时,Managed Service for Apache Flink 无法访问您的串流。您通过 IAM 角色授予这些权限。每个 IAM 角色附加了两种策略。此信任策略授予 Managed Service for Apache Flink代入该角色的权限,权限策略确定 Managed Service for Apache Flink代入这个角色后可以执行的操作。

您将在上一部分中创建的权限策略附加到此角色。

创建 IAM 角色
  1. 通过以下网址打开 IAM 控制台:https://console.aws.amazon.com/iam/

  2. 在导航窗格中,选择 角色创建角色

  3. 选择受信任实体的类型 下,选择 Amazon 服务。在 选择将使用此角色的服务 下,选择 Kinesis。在选择您的使用案例下,选择 Kinesis Analytics

    选择下一步: 权限

  4. 附加权限策略 页面上,选择 下一步: 审核。在创建角色后,您可以附加权限策略。

  5. 创建角色 页面上,输入MF-stream-rw-role作为角色名称。选择 创建角色

    现在,您已经创建了一个名为 MF-stream-rw-role 的新 IAM 角色。接下来,您更新角色的信任和权限策略。

  6. 将权限策略附加到角色。

    注意

    对于本练习,Managed Service for Apache Flink代入此角色,以便同时从 Kinesis 数据流(源)读取数据和将输出写入另一个 Kinesis 数据流。因此,您附加在上一步(创建权限策略)中创建的策略。

    1. 摘要 页上,选择 权限 选项卡。

    2. 选择附加策略

    3. 在搜索框中,输入 AKReadSourceStreamWriteSinkStream(您在上一部分中创建的策略)。

    4. 选择 A K ReadSourceStreamWriteSinkStream 策略,然后选择附加策略

现在,您已经创建了应用程序用来访问资源的服务执行角色。记下新角色的 ARN。

有关创建角色的 step-by-step 说明,请参阅 IAM 用户指南中的创建 IAM 角色(控制台)

为 Apache Flink 应用程序创建托管服务
  1. 将以下 JSON 代码保存到名为 create_request.json 的文件中。将示例角色 ARN 替换为您之前创建的角色的 ARN。将存储桶 ARN 后缀 (username) 替换为在前一部分中选择的后缀。将服务执行角色中的示例账户 ID (012345678901) 替换为您的账户 ID。

    { "ApplicationName": "test", "ApplicationDescription": "my java test app", "RuntimeEnvironment": "FLINK-1_6", "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role", "ApplicationConfiguration": { "ApplicationCodeConfiguration": { "CodeContent": { "S3ContentLocation": { "BucketARN": "arn:aws:s3:::ka-app-code-username", "FileKey": "java-getting-started-1.0.jar" } }, "CodeContentType": "ZIPFILE" }, "EnvironmentProperties": { "PropertyGroups": [ { "PropertyGroupId": "ProducerConfigProperties", "PropertyMap" : { "flink.stream.initpos" : "LATEST", "aws.region" : "us-west-2", "AggregationEnabled" : "false" } }, { "PropertyGroupId": "ConsumerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2" } } ] } } }
  2. 使用上述请求执行 CreateApplication 操作来创建应用程序:

    aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

应用程序现已创建。您在下一步中启动应用程序。

启动应用程序

在本节中,您使用 StartApplication 操作来启动应用程序。

启动应用程序
  1. 将以下 JSON 代码保存到名为 start_request.json 的文件中。

    { "ApplicationName": "test", "RunConfiguration": { "ApplicationRestoreConfiguration": { "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT" } } }
  2. 使用上述请求执行 StartApplication 操作来启动应用程序:

    aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

应用程序正在运行。您可以在亚马逊 CloudWatch 控制台上查看托管服务的 Apache Flink 指标,以验证应用程序是否正常运行。

停止应用程序

在本节中,您使用 StopApplication 操作来停止应用程序。

停止应用程序
  1. 将以下 JSON 代码保存到名为 stop_request.json 的文件中。

    { "ApplicationName": "test" }
  2. 使用下面的请求执行 StopApplication 操作来停止应用程序:

    aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

应用程序现已停止。

添加 CloudWatch 日志选项

您可以使用将 Amazon CloudWatch 日志流 Amazon CLI 添加到您的应用程序中。有关在应用程序中使用 CloudWatch Logs 的信息,请参阅设置应用程序日志

更新环境属性

在本节中,您使用 UpdateApplication 操作更改应用程序的环境属性,而无需重新编译应用程序代码。在该示例中,您更改源流和目标流的区域。

更新应用程序的环境属性
  1. 将以下 JSON 代码保存到名为 update_properties_request.json 的文件中。

    {"ApplicationName": "test", "CurrentApplicationVersionId": 1, "ApplicationConfigurationUpdate": { "EnvironmentPropertyUpdates": { "PropertyGroups": [ { "PropertyGroupId": "ProducerConfigProperties", "PropertyMap" : { "flink.stream.initpos" : "LATEST", "aws.region" : "us-west-2", "AggregationEnabled" : "false" } }, { "PropertyGroupId": "ConsumerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2" } } ] } } }
  2. 使用前面的请求执行 UpdateApplication 操作以更新环境属性:

    aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json
更新应用程序代码

当您需要使用新版本的代码包更新应用程序代码时,可以使用UpdateApplication Amazon CLI 操作。

要使用 Amazon CLI,请从 Amazon S3 存储桶中删除之前的代码包,上传新版本,然后调用UpdateApplication,指定相同的 Amazon S3 存储桶和对象名称。应用程序将使用新的代码包重新启动。

以下示例 UpdateApplication 操作请求重新加载应用程序代码并重新启动应用程序。将 CurrentApplicationVersionId 更新为当前的应用程序版本。您可以使用 ListApplicationsDescribeApplication 操作检查当前的应用程序版本。将存储桶名称后缀 (<用户名>) 更新为在创建两个 Amazon Kinesis 数据流一节中选择的后缀。

{ "ApplicationName": "test", "CurrentApplicationVersionId": 1, "ApplicationConfigurationUpdate": { "ApplicationCodeConfigurationUpdate": { "CodeContentUpdate": { "S3ContentLocationUpdate": { "BucketARNUpdate": "arn:aws:s3:::ka-app-code-username", "FileKeyUpdate": "java-getting-started-1.0.jar" } } } } }

步骤 4:清理 Amazon 资源

本节包括清理入门教程中创建的 Amazon 资源的过程。

删除你的 Apache 托管服务 Flink 应用程序

  1. 打开 Kinesis 控制台,网址为:https://console.aws.amazon.com/kinesis

  2. 在 “适用于 Apache Flink 的托管服务” 面板中,选择。MyApplication

  3. 选择 配置

  4. Snapshots (快照) 部分中,选择 Disable (禁用),然后选择 Update (更新)

  5. 在应用程序的页面中,选择 删除,然后确认删除。

删除你的 Kinesis 数据流

  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Kinesis Data Streams 面板中,ExampleInputStream选择。

  3. 在该ExampleInputStream页面中,选择 “删除 Kinesis Stream”,然后确认删除。

  4. Kinesis 直播页面中 ExampleOutputStream,选择,选择操作,选择删除,然后确认删除。

删除您的 Amazon S3 对象和存储桶

  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择 ka-app-code- 存储桶。 <username>

  3. 选择 删除,然后输入存储桶名称以确认删除。

删除您的 IAM 资源

  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航栏中,选择策略

  3. 在筛选条件控件中,输入 kinesis

  4. 选择 kinesis-analytics-service--us-MyApplication west-2 策略

  5. 选择 策略操作,然后选择 删除

  6. 在导航栏中,选择 角色

  7. 选择 k inesis-analytics-us-west-2 角色MyApplication

  8. 选择 删除角色,然后确认删除。

删除您的 CloudWatch 资源

  1. 打开 CloudWatch 控制台,网址为 https://console.aws.amazon.com/cloudwatch/

  2. 在导航栏中,选择 日志

  3. 选择 /aws/kinesis-analytics/ 日志组MyApplication

  4. 选择 删除日志组,然后确认删除。

适用于 Apache Flink 的托管服务的早期版本(旧版)示例

注意

有关当前示例,请参见示例

本节提供了在Managed Service for Apache Flink 中创建和使用应用程序的示例。它们包括示例代码和 step-by-step 说明,可帮助您为 Apache Flink 应用程序创建托管服务并测试结果。

在分析这些示例之前,我们建议您先查看以下内容:

注意

这些示例假定您使用美国西部(俄勒冈)区域 (us-west-2)。如果您使用不同的区域,请相应地更新应用程序代码、命令和 IAM 角色。

DataStream API 示例

以下示例演示了如何使用 Apache Flink DataStream API 创建应用程序。

示例:翻滚窗口

注意

有关当前示例,请参见示例

在本练习中,您将创建一个 Managed Service for Apache Flink 应用程序,该应用程序使用滚动窗口聚合数据。在 Flink 中,默认情况下已启用聚合。要禁用,请使用以下命令:

sink.producer.aggregation-enabled' = 'false'
注意

要为本练习设置所需的先决条件,请先完成入门指南 (DataStream API)练习。

创建依赖资源

在本练习中,创建Managed Service for Apache Flink的应用程序之前,您需要创建以下从属资源:

  • 两个 Kinesis 数据流(ExampleInputStreamExampleOutputStream)。

  • 存储应用程序代码 (ka-app-code-<username>) 的 Amazon S3 存储桶

您可以使用控制台创建 Kinesis 流和 Amazon S3 存储桶。有关创建这些资源的说明,请参阅以下主题:

  • Amazon Kinesis Data Streams 开发人员指南中的创建和更新数据流。将数据流命名为 ExampleInputStreamExampleOutputStream

  • Amazon Simple Storage Service 用户指南中的如何创建 S3 存储桶?。附加您的登录名,以便为 Amazon S3 存储桶指定全局唯一的名称,例如 ka-app-code-<username>

将样本记录写入输入流

在本节中,您使用 Python 脚本将示例记录写入流,以供应用程序处理。

注意

此部分需要 Amazon SDK for Python (Boto)

  1. 使用以下内容创建名为 stock.py 的文件:

    import datetime import json import random import boto3 STREAM_NAME = "ExampleInputStream" def get_data(): return { 'event_time': datetime.datetime.now().isoformat(), 'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']), 'price': round(random.random() * 100, 2)} def generate(stream_name, kinesis_client): while True: data = get_data() print(data) kinesis_client.put_record( StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey") if __name__ == '__main__': generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))
  2. 运行 stock.py 脚本:

    $ python stock.py

    在完成本教程的其余部分时,请将脚本保持运行状态。

下载并检查应用程序代码

此示例的 Java 应用程序代码可从中获得 GitHub。要下载应用程序代码,请执行以下操作:

  1. 如果尚未安装 Git 客户端,请安装它。有关更多信息,请参阅安装 Git

  2. 使用以下命令克隆远程存储库:

    git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git
  3. 导航到 amazon-kinesis-data-analytics-java-examples/TumblingWindow 目录。

应用程序代码位于 TumblingWindowStreamingJob.java 文件中。请注意有关应用程序代码的以下信息:

  • 应用程序使用 Kinesis 源从源流中进行读取。以下代码段创建 Kinesis 源:

    return env.addSource(new FlinkKinesisConsumer<>(inputStreamName, new SimpleStringSchema(), inputProperties));
  • 添加以下导入语句:

    import org.apache.flink.streaming.api.windowing.assigners.TumblingProcessingTimeWindows; //flink 1.13 onward
  • 应用程序使用 timeWindow 操作符在 5 秒的滚动窗口中查找每个股票代号的值计数。以下代码创建操作符,并将聚合的数据发送到新的 Kinesis Data Streams 接收器:

    input.flatMap(new Tokenizer()) // Tokenizer for generating words .keyBy(0) // Logically partition the stream for each word .window(TumblingProcessingTimeWindows.of(Time.seconds(5))) //Flink 1.13 onward .sum(1) // Sum the number of words per partition .map(value -> value.f0 + "," + value.f1.toString() + "\n") .addSink(createSinkFromStaticConfig());
编译应用程序代码

要编译应用程序,请执行以下操作:

  1. 如果还没有 Java 和 Maven,请安装它们。有关更多信息,请参阅入门指南 (DataStream API)教程中的先决条件

  2. 使用以下命令编译应用程序:

    mvn package -Dflink.version=1.15.3
    注意

    提供的源代码依赖于 Java 11 中的库。

编译应用程序将创建应用程序 JAR 文件 (target/aws-kinesis-analytics-java-apps-1.0.jar)。

上传 Apache Flink 直播 Java 代码

在本节中,您将应用程序代码上传到在创建依赖资源一节中创建的 Amazon S3 存储桶。

  1. 在 Amazon S3 控制台中,选择 ka-app-code- <username>存储桶,然后选择上传

  2. 选择文件步骤中,选择添加文件。导航到您在上一步中创建的 aws-kinesis-analytics-java-apps-1.0.jar 文件。

  3. 您无需更改该对象的任何设置,因此,请选择上传

您的应用程序代码现在存储在 Amazon S3 存储桶中,应用程序可以在其中访问代码。

创建并运行适用于 Apache 的托管服务 Flink 应用程序

按照以下步骤,使用控制台创建、配置、更新和运行应用程序。

创建应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Managed Service for Apache Flink 控制面板上,选择创建分析应用程序

  3. Managed Service for Apache Flink - 创建应用程序页面上,提供应用程序详细信息,如下所示:

    • 对于 应用程序名称 ,输入 MyApplication

    • 对于 运行时,请选择 Apache Flink

      注意

      Managed Service for Apache Flink 使用 Apache Flink 版本 1.15.2。

    • 将版本下拉列表保留为 Apache Flink 版本 1.15.2(建议的版本)

  4. 对于访问权限,请选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  5. 选择创建应用程序

注意

在使用控制台创建应用程序的 Managed Service for Apache Flink时,您可以选择为应用程序创建 IAM 角色和策略。您的应用程序使用此角色和策略访问其从属资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

  • 策略:kinesis-analytics-service-MyApplication-us-west-2

  • 角色:kinesisanalytics-MyApplication-us-west-2

编辑 IAM 政策

编辑 IAM policy 以添加访问 Kinesis 数据流的权限。

  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 选择策略。选择控制台在上一部分中为您创建的 kinesis-analytics-service-MyApplication-us-west-2 策略。

  3. 摘要 页面上,选择 编辑策略。选择 JSON 选项卡。

  4. 将以下策略示例中突出显示的部分添加到策略中。将示例账户 ID (012345678901) 替换为您的账户 ID。

    { "Version": "2012-10-17", "Statement": [ { "Sid": "ReadCode", "Effect": "Allow", "Action": [ "s3:GetObject", "logs:DescribeLogGroups", "s3:GetObjectVersion" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*", "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar" ] }, { "Sid": "DescribeLogStreams", "Effect": "Allow", "Action": "logs:DescribeLogStreams", "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*" }, { "Sid": "PutLogEvents", "Effect": "Allow", "Action": "logs:PutLogEvents", "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream" }, { "Sid": "ListCloudwatchLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteOutputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream" } ] }
配置应用程序
  1. MyApplication页面上,选择配置

  2. 配置应用程序 页面上,提供 代码位置

    • 对于Amazon S3 存储桶,请输入ka-app-code-<username>

    • 在 Amazon S3 对象的路径中,输入aws-kinesis-analytics-java-apps-1.0.jar

  3. 对应用程序的访问权限 下,对于 访问权限,选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  4. 监控 下,确保 监控指标级别 设置为 应用程序

  5. 要进行CloudWatch 日志记录,请选中 “启用” 复选框。

  6. 选择更新

注意

当您选择启用 CloudWatch 日志记录时,适用于 Apache Flink 的托管服务会为您创建日志组和日志流。这些资源的名称如下所示:

  • 日志组:/aws/kinesis-analytics/MyApplication

  • 日志流:kinesis-analytics-log-stream

该日志流用于监控应用程序。这与应用程序用于发送结果的日志流不同。

运行应用程序
  1. MyApplication页面上,选择 “运行”。保持不使用快照运行选项处于选中状态,然后确认操作。

  2. 当应用程序正在运行时,请刷新页面。控制台将显示 Application graph (应用程序图表)

您可以在 CloudWatch 控制台上查看托管服务的 Apache Flink 指标,以验证应用程序是否正常运行。

清理 Amazon 资源

本节包括清理在 Tumbling Window 教程中创建的 Amazon 资源的过程。

删除你的 Apache 托管服务 Flink 应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Apache Flink 的托管服务面板中,选择。MyApplication

  3. 在应用程序的页面中,选择 删除,然后确认删除。

删除你的 Kinesis 数据流
  1. 打开 Kinesis 控制台,网址为:https://console.aws.amazon.com/kinesis

  2. 在 Kinesis Data Streams 面板中,ExampleInputStream选择。

  3. 在该ExampleInputStream页面中,选择 “删除 Kinesis Stream”,然后确认删除。

  4. Kinesis 直播页面中 ExampleOutputStream,选择,选择操作,选择删除,然后确认删除。

删除您的 Amazon S3 对象和存储桶
  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择 ka-app-code- 存储桶。 <username>

  3. 选择 删除,然后输入存储桶名称以确认删除。

删除您的 IAM 资源
  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航栏中,选择策略

  3. 在筛选条件控件中,输入 kinesis

  4. 选择 kinesis-analytics-service--us-MyApplication west-2 策略

  5. 选择 策略操作,然后选择 删除

  6. 在导航栏中,选择 角色

  7. 选择 k inesis-analytics-us-west-2 角色MyApplication

  8. 选择 删除角色,然后确认删除。

删除您的 CloudWatch 资源
  1. 打开 CloudWatch 控制台,网址为 https://console.aws.amazon.com/cloudwatch/

  2. 在导航栏中,选择 日志

  3. 选择 /aws/kinesis-analytics/ 日志组MyApplication

  4. 选择 删除日志组,然后确认删除。

示例:滑动窗口

注意

有关当前示例,请参见示例

注意

要为本练习设置所需的先决条件,请先完成入门指南 (DataStream API)练习。

创建依赖资源

在本练习中,创建Managed Service for Apache Flink的应用程序之前,您需要创建以下从属资源:

  • 两个 Kinesis 数据流(ExampleInputStreamExampleOutputStream)。

  • 存储应用程序代码 (ka-app-code-<username>) 的 Amazon S3 存储桶

您可以使用控制台创建 Kinesis 流和 Amazon S3 存储桶。有关创建这些资源的说明,请参阅以下主题:

  • Amazon Kinesis Data Streams 开发人员指南中的创建和更新数据流。将数据流命名为 ExampleInputStreamExampleOutputStream

  • Amazon Simple Storage Service 用户指南中的如何创建 S3 存储桶?。附加您的登录名,以便为 Amazon S3 存储桶指定全局唯一的名称,例如 ka-app-code-<username>

将样本记录写入输入流

在本节中,您使用 Python 脚本将示例记录写入流,以供应用程序处理。

注意

此部分需要 Amazon SDK for Python (Boto)

  1. 使用以下内容创建名为 stock.py 的文件:

    import datetime import json import random import boto3 STREAM_NAME = "ExampleInputStream" def get_data(): return { "EVENT_TIME": datetime.datetime.now().isoformat(), "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]), "PRICE": round(random.random() * 100, 2), } def generate(stream_name, kinesis_client): while True: data = get_data() print(data) kinesis_client.put_record( StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey" ) if __name__ == "__main__": generate(STREAM_NAME, boto3.client("kinesis"))
  2. 运行 stock.py 脚本:

    $ python stock.py

    在完成本教程的其余部分时,请将脚本保持运行状态。

下载并检查应用程序代码

此示例的 Java 应用程序代码可从中获得 GitHub。要下载应用程序代码,请执行以下操作:

  1. 如果尚未安装 Git 客户端,请安装它。有关更多信息,请参阅安装 Git

  2. 使用以下命令克隆远程存储库:

    git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git
  3. 导航到 amazon-kinesis-data-analytics-java-examples/SlidingWindow 目录。

应用程序代码位于 SlidingWindowStreamingJobWithParallelism.java 文件中。请注意有关应用程序代码的以下信息:

  • 应用程序使用 Kinesis 源从源流中进行读取。以下代码段创建 Kinesis 源:

    return env.addSource(new FlinkKinesisConsumer<>(inputStreamName, new SimpleStringSchema(), inputProperties));
  • 应用程序使用 timeWindow 操作符在 10 秒的滑动窗口(以 5 秒为增量)中查找每个股票代号的最小值。以下代码创建操作符,并将聚合的数据发送到新的 Kinesis Data Streams 接收器:

  • 添加以下导入语句:

    import org.apache.flink.streaming.api.windowing.assigners.TumblingProcessingTimeWindows; //flink 1.13 onward
  • 应用程序使用 timeWindow 操作符在 5 秒的滚动窗口中查找每个股票代号的值计数。以下代码创建操作符,并将聚合的数据发送到新的 Kinesis Data Streams 接收器:

    input.flatMap(new Tokenizer()) // Tokenizer for generating words .keyBy(0) // Logically partition the stream for each word .window(TumblingProcessingTimeWindows.of(Time.seconds(5))) //Flink 1.13 onward .sum(1) // Sum the number of words per partition .map(value -> value.f0 + "," + value.f1.toString() + "\n") .addSink(createSinkFromStaticConfig());
编译应用程序代码

要编译应用程序,请执行以下操作:

  1. 如果还没有 Java 和 Maven,请安装它们。有关更多信息,请参阅入门指南 (DataStream API)教程中的先决条件

  2. 使用以下命令编译应用程序:

    mvn package -Dflink.version=1.15.3
    注意

    提供的源代码依赖于 Java 11 中的库。

编译应用程序将创建应用程序 JAR 文件 (target/aws-kinesis-analytics-java-apps-1.0.jar)。

上传 Apache Flink 直播 Java 代码

在本节中,您将应用程序代码上传到在创建依赖资源一节中创建的 Amazon S3 存储桶。

  1. 在 Amazon S3 控制台中,选择 ka-app-code- <username>存储桶,然后选择上传

  2. 选择文件步骤中,选择添加文件。导航到您在上一步中创建的 aws-kinesis-analytics-java-apps-1.0.jar 文件。

  3. 您无需更改该对象的任何设置,因此,请选择上传

您的应用程序代码现在存储在 Amazon S3 存储桶中,应用程序可以在其中访问代码。

创建并运行适用于 Apache 的托管服务 Flink 应用程序

按照以下步骤,使用控制台创建、配置、更新和运行应用程序。

创建应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Managed Service for Apache Flink 控制面板上,选择创建分析应用程序

  3. Managed Service for Apache Flink - 创建应用程序页面上,提供应用程序详细信息,如下所示:

    • 对于 应用程序名称 ,输入 MyApplication

    • 对于 运行时,请选择 Apache Flink

    • 将版本下拉列表保留为 Apache Flink 1.15.2 (Recommended Version) (Apache Flink 1.15.2 (建议的版本))

  4. 对于访问权限,请选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  5. 选择创建应用程序

注意

在使用控制台创建应用程序的 Managed Service for Apache Flink时,您可以选择为应用程序创建 IAM 角色和策略。您的应用程序使用此角色和策略访问其从属资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

  • 策略:kinesis-analytics-service-MyApplication-us-west-2

  • 角色:kinesisanalytics-MyApplication-us-west-2

编辑 IAM 政策

编辑 IAM policy 以添加访问 Kinesis 数据流的权限。

  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 选择策略。选择控制台在上一部分中为您创建的 kinesis-analytics-service-MyApplication-us-west-2 策略。

  3. 摘要 页面上,选择 编辑策略。选择 JSON 选项卡。

  4. 将以下策略示例中突出显示的部分添加到策略中。将示例账户 ID (012345678901) 替换为您的账户 ID。

    { "Version": "2012-10-17", "Statement": [ { "Sid": "ReadCode", "Effect": "Allow", "Action": [ "s3:GetObject", "logs:DescribeLogGroups", "s3:GetObjectVersion" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*", "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar" ] }, { "Sid": "DescribeLogStreams", "Effect": "Allow", "Action": "logs:DescribeLogStreams", "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*" }, { "Sid": "PutLogEvents", "Effect": "Allow", "Action": "logs:PutLogEvents", "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream" }, { "Sid": "ListCloudwatchLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteOutputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream" } ] }
配置应用程序
  1. MyApplication页面上,选择配置

  2. 配置应用程序 页面上,提供 代码位置

    • 对于Amazon S3 存储桶,请输入ka-app-code-<username>

    • 在 Amazon S3 对象的路径中,输入aws-kinesis-analytics-java-apps-1.0.jar

  3. 对应用程序的访问权限 下,对于 访问权限,选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  4. 监控 下,确保 监控指标级别 设置为 应用程序

  5. 要进行CloudWatch 日志记录,请选中 “启用” 复选框。

  6. 选择更新

注意

当您选择启用 Amazon CloudWatch 日志时,适用于 Apache Flink 的托管服务会为您创建一个日志组和日志流。这些资源的名称如下所示:

  • 日志组:/aws/kinesis-analytics/MyApplication

  • 日志流:kinesis-analytics-log-stream

该日志流用于监控应用程序。这与应用程序用于发送结果的日志流不同。

配置应用程序并行度

该应用程序示例使用任务的并行执行功能。以下应用程序代码设置 min 操作符的并行度:

.setParallelism(3) // Set parallelism for the min operator

应用程序并行度不能大于预置的并行度(默认为 1)。要提高应用程序的并行度,请使用以下操作: Amazon CLI

aws kinesisanalyticsv2 update-application --application-name MyApplication --current-application-version-id <VersionId> --application-configuration-update "{\"FlinkApplicationConfigurationUpdate\": { \"ParallelismConfigurationUpdate\": {\"ParallelismUpdate\": 5, \"ConfigurationTypeUpdate\": \"CUSTOM\" }}}"

您可以使用DescribeApplicationListApplications操作检索当前的应用程序版本 ID。

运行应用程序

可以通过运行应用程序、打开 Apache Flink 控制面板并选择所需的 Flink 任务来查看 Flink 任务图。

您可以在 CloudWatch 控制台上查看托管服务的 Apache Flink 指标,以验证应用程序是否正常运行。

清理 Amazon 资源

本节包括清理滑动窗口教程中创建的 Amazon 资源的过程。

删除你的 Apache 托管服务 Flink 应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 “适用于 Apache Flink 的托管服务” 面板中,选择。MyApplication

  3. 在应用程序的页面中,选择 删除,然后确认删除。

删除你的 Kinesis 数据流
  1. 打开 Kinesis 控制台,网址为:https://console.aws.amazon.com/kinesis

  2. 在 Kinesis Data Streams 面板中,ExampleInputStream选择。

  3. 在该ExampleInputStream页面中,选择 “删除 Kinesis Stream”,然后确认删除。

  4. Kinesis 直播页面中 ExampleOutputStream,选择,选择操作,选择删除,然后确认删除。

删除您的 Amazon S3 对象和存储桶
  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择 ka-app-code- 存储桶。 <username>

  3. 选择 删除,然后输入存储桶名称以确认删除。

删除您的 IAM 资源
  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航栏中,选择策略

  3. 在筛选条件控件中,输入 kinesis

  4. 选择 kinesis-analytics-service--us-MyApplication west-2 策略

  5. 选择 策略操作,然后选择 删除

  6. 在导航栏中,选择 角色

  7. 选择 k inesis-analytics-us-west-2 角色MyApplication

  8. 选择 删除角色,然后确认删除。

删除您的 CloudWatch 资源
  1. 打开 CloudWatch 控制台,网址为 https://console.aws.amazon.com/cloudwatch/

  2. 在导航栏中,选择 日志

  3. 选择 /aws/kinesis-analytics/ 日志组MyApplication

  4. 选择 删除日志组,然后确认删除。

示例:写入亚马逊 S3 存储桶

在本练习中,您创建一个Managed Service for Apache Flink,它将 Kinesis 数据流作为源,并将 Amazon S3 存储桶作为接收器。通过使用接收器,您可以在 Amazon S3 控制台中验证应用程序的输出。

注意

要为本练习设置所需的先决条件,请先完成入门指南 (DataStream API)练习。

创建依赖资源

在本练习中创建 Managed Service for Apache Flink之前,您需要创建以下从属资源:

  • Kinesis 数据流 (ExampleInputStream)。

  • 存储应用程序代码和输出的 Amazon S3 存储桶 (ka-app-code-<username>)

注意

在 Managed Service for Apache Flink 上启用服务器端加密的情况下,Managed Service for Apache Flink 无法将数据写入 Amazon S3。

您可以使用控制台创建 Kinesis 流和 Amazon S3 存储桶。有关创建这些资源的说明,请参阅以下主题:

  • Amazon Kinesis Data Streams 开发人员指南中的创建和更新数据流。将数据流命名为 ExampleInputStream

  • Amazon Simple Storage Service 用户指南中的如何创建 S3 存储桶?。附加您的登录名,以便为 Amazon S3 存储桶指定全局唯一的名称,例如 ka-app-code-<username>。在 Amazon S3 存储桶中创建两个文件夹(codedata)。

如果以下 CloudWatch 资源尚不存在,则应用程序会创建这些资源:

  • 名为 /AWS/KinesisAnalytics-java/MyApplication 的日志组。

  • 名为 kinesis-analytics-log-stream 的日志流。

将样本记录写入输入流

在本节中,您使用 Python 脚本将示例记录写入流,以供应用程序处理。

注意

此部分需要 Amazon SDK for Python (Boto)

  1. 使用以下内容创建名为 stock.py 的文件:

    import datetime import json import random import boto3 STREAM_NAME = "ExampleInputStream" def get_data(): return { 'event_time': datetime.datetime.now().isoformat(), 'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']), 'price': round(random.random() * 100, 2)} def generate(stream_name, kinesis_client): while True: data = get_data() print(data) kinesis_client.put_record( StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey") if __name__ == '__main__': generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))
  2. 运行 stock.py 脚本:

    $ python stock.py

    在完成本教程的其余部分时,请将脚本保持运行状态。

下载并检查应用程序代码

此示例的 Java 应用程序代码可从中获得 GitHub。要下载应用程序代码,请执行以下操作:

  1. 如果尚未安装 Git 客户端,请安装它。有关更多信息,请参阅安装 Git

  2. 使用以下命令克隆远程存储库:

    git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git
  3. 导航到 amazon-kinesis-data-analytics-java-examples/S3Sink 目录。

应用程序代码位于 S3StreamingSinkJob.java 文件中。请注意有关应用程序代码的以下信息:

  • 应用程序使用 Kinesis 源从源流中进行读取。以下代码段创建 Kinesis 源:

    return env.addSource(new FlinkKinesisConsumer<>(inputStreamName, new SimpleStringSchema(), inputProperties));
  • 您需要添加以下导入语句:

    import org.apache.flink.streaming.api.windowing.assigners.TumblingProcessingTimeWindows;
  • 应用程序使用 Apache Flink S3 接收器以写入 Amazon S3。

    接收器在滚动窗口中读取消息,将消息编码为 S3 存储桶对象,然后将编码的对象发送到 S3 接收器。以下代码将对象进行编码以发送到 Amazon S3:

    input.map(value -> { // Parse the JSON JsonNode jsonNode = jsonParser.readValue(value, JsonNode.class); return new Tuple2<>(jsonNode.get("ticker").toString(), 1); }).returns(Types.TUPLE(Types.STRING, Types.INT)) .keyBy(v -> v.f0) // Logically partition the stream for each word .window(TumblingProcessingTimeWindows.of(Time.minutes(1))) .sum(1) // Count the appearances by ticker per partition .map(value -> value.f0 + " count: " + value.f1.toString() + "\n") .addSink(createS3SinkFromStaticConfig());
注意

应用程序使用 Flink StreamingFileSink 对象以写入 Amazon S3。有关的更多信息StreamingFileSink,请参阅 Apache Flink 文档StreamingFileSink中的。

修改应用程序代码

在本节中,您修改应用程序代码以将输出写入 Amazon S3 存储桶。

使用您的用户名更新以下行以指定应用程序的输出位置:

private static final String s3SinkPath = "s3a://ka-app-code-<username>/data";
编译应用程序代码

要编译应用程序,请执行以下操作:

  1. 如果还没有 Java 和 Maven,请安装它们。有关更多信息,请参阅入门指南 (DataStream API)教程中的先决条件

  2. 使用以下命令编译应用程序:

    mvn package -Dflink.version=1.15.3

编译应用程序将创建应用程序 JAR 文件 (target/aws-kinesis-analytics-java-apps-1.0.jar)。

注意

提供的源代码依赖于 Java 11 中的库。

上传 Apache Flink 直播 Java 代码

在本节中,您将应用程序代码上传到在创建依赖资源一节中创建的 Amazon S3 存储桶。

  1. 在 Amazon S3 控制台中,选择 ka-app-code- <username>存储桶,导航到代码文件夹,然后选择上传

  2. 选择文件步骤中,选择添加文件。导航到您在上一步中创建的 aws-kinesis-analytics-java-apps-1.0.jar 文件。

  3. 您无需更改该对象的任何设置,因此,请选择上传

您的应用程序代码现在存储在 Amazon S3 存储桶中,应用程序可以在其中访问代码。

创建并运行适用于 Apache 的托管服务 Flink 应用程序

按照以下步骤,使用控制台创建、配置、更新和运行应用程序。

创建应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Managed Service for Apache Flink 控制面板上,选择创建分析应用程序

  3. Managed Service for Apache Flink - 创建应用程序页面上,提供应用程序详细信息,如下所示:

    • 对于 应用程序名称 ,输入 MyApplication

    • 对于 运行时,请选择 Apache Flink

    • 将版本下拉列表保留为 Apache Flink 1.15.2 (Recommended Version) (Apache Flink 1.15.2 (建议的版本))

  4. 对于访问权限,请选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  5. 选择创建应用程序

    注意

    在使用控制台创建应用程序的 Managed Service for Apache Flink时,您可以选择为应用程序创建 IAM 角色和策略。您的应用程序使用此角色和策略访问其从属资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

    • 对于 应用程序名称 ,输入 MyApplication

    • 对于 运行时,请选择 Apache Flink

    • 将版本保留为 Apache Flink 版本 1.15.2(建议的版本)

  6. 对于访问权限,请选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  7. 选择创建应用程序

注意

使用控制台创建Managed Service for Apache Flink时,您可以选择为您的应用程序创建一个 IAM 角色和策略。您的应用程序使用此角色和策略访问其从属资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

  • 策略:kinesis-analytics-service-MyApplication-us-west-2

  • 角色:kinesisanalytics-MyApplication-us-west-2

编辑 IAM 政策

编辑 IAM policy 以添加访问 Kinesis 数据流的权限。

  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 选择策略。选择控制台在上一部分中为您创建的 kinesis-analytics-service-MyApplication-us-west-2 策略。

  3. 摘要 页面上,选择 编辑策略。选择 JSON 选项卡。

  4. 将以下策略示例中突出显示的部分添加到策略中。将示例账户 ID (012345678901) 替换为您的账户 ID。将 <用户名> 替换为您的用户名。

    { "Sid": "S3", "Effect": "Allow", "Action": [ "s3:Abort*", "s3:DeleteObject*", "s3:GetObject*", "s3:GetBucket*", "s3:List*", "s3:ListBucket", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::ka-app-code-<username>", "arn:aws:s3:::ka-app-code-<username>/*" ] }, { "Sid": "ListCloudwatchLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:region:account-id:log-group:*" ] }, { "Sid": "ListCloudwatchLogStreams", "Effect": "Allow", "Action": [ "logs:DescribeLogStreams" ], "Resource": [ "arn:aws:logs:region:account-id:log-group:%LOG_GROUP_PLACEHOLDER%:log-stream:*" ] }, { "Sid": "PutCloudwatchLogs", "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:region:account-id:log-group:%LOG_GROUP_PLACEHOLDER%:log-stream:%LOG_STREAM_PLACEHOLDER%" ] } , { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, ] }
配置应用程序
  1. MyApplication页面上,选择配置

  2. 配置应用程序 页面上,提供 代码位置

    • 对于Amazon S3 存储桶,请输入ka-app-code-<username>

    • 在 Amazon S3 对象的路径中,输入code/aws-kinesis-analytics-java-apps-1.0.jar

  3. 对应用程序的访问权限 下,对于 访问权限,选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  4. 监控 下,确保 监控指标级别 设置为 应用程序

  5. 要进行CloudWatch 日志记录,请选中 “启用” 复选框。

  6. 选择更新

注意

当您选择启用 CloudWatch 日志记录时,适用于 Apache Flink 的托管服务会为您创建日志组和日志流。这些资源的名称如下所示:

  • 日志组:/aws/kinesis-analytics/MyApplication

  • 日志流:kinesis-analytics-log-stream

该日志流用于监控应用程序。这与应用程序用于发送结果的日志流不同。

运行应用程序
  1. MyApplication页面上,选择 “运行”。保持不使用快照运行选项处于选中状态,然后确认操作。

  2. 当应用程序正在运行时,请刷新页面。控制台将显示 Application graph (应用程序图表)

验证应用程序输出

在 Amazon S3 控制台中,打开 S3 存储桶中的 data 文件夹。

几分钟后,将显示包含来自应用程序的聚合数据的对象。

注意

在 Flink 中,默认情况下已启用聚合。要禁用,请使用以下命令:

sink.producer.aggregation-enabled' = 'false'
可选:自定义源和接收器

在本节中,您将自定义源对象和接收器对象的设置。

注意

更改以下各节所述的代码部分后,请执行以下操作以重新加载应用程序代码:

  • 重复本编译应用程序代码节中的步骤以编译更新的应用程序代码。

  • 重复本上传 Apache Flink 直播 Java 代码节中的步骤以编译更新的应用程序代码。

  • 在控制台的应用程序页面上,选择配置,然后选择更新,将更新的应用程序代码重新加载到您的应用程序中。

配置数据分区

在本节中,您将配置流式文件接收器在 S3 存储桶中创建的文件夹的名称。可以通过向流式文件接收器添加存储桶分配器来完成此操作。

要自定义在 S3 存储桶中创建的文件夹名称,请执行以下操作:

  1. S3StreamingSinkJob.java文件开头添加以下导入语句:

    import org.apache.flink.streaming.api.functions.sink.filesystem.rollingpolicies.DefaultRollingPolicy; import org.apache.flink.streaming.api.functions.sink.filesystem.bucketassigners.DateTimeBucketAssigner;
  2. 更新代码中的createS3SinkFromStaticConfig()方法,使其看起来与以下内容类似:

    private static StreamingFileSink<String> createS3SinkFromStaticConfig() { final StreamingFileSink<String> sink = StreamingFileSink .forRowFormat(new Path(s3SinkPath), new SimpleStringEncoder<String>("UTF-8")) .withBucketAssigner(new DateTimeBucketAssigner("yyyy-MM-dd--HH")) .withRollingPolicy(DefaultRollingPolicy.create().build()) .build(); return sink; }

前面的代码示例使用带有自定义日期格式的DateTimeBucketAssigner,在 S3 存储桶中创建文件夹。DateTimeBucketAssigner使用当前系统时间来创建存储桶名称。如果您想创建自定义存储桶分配器以进一步自定义已创建的文件夹名称,则可以创建一个实现BucketAssigner的类。您可以使用getBucketId方法实现自定义逻辑。

自定义实现BucketAssigner可以使用 Context 参数获取有关记录的更多信息,从而确定其目标文件夹。

配置读取频率

在本节中,您将配置对源流的读取频率。

默认情况下,Kinesis Streams 使用者每秒从源流中读取五次。如果有多个客户端从流中读取数据,或者应用程序需要重试读取记录,则此频率将导致出现问题。您可以通过设置使用者的读取频率来避免这些问题。

要设置 Kinesis 使用者的读取频率,您需要设置该SHARD_GETRECORDS_INTERVAL_MILLIS设置。

以下代码示例将SHARD_GETRECORDS_INTERVAL_MILLIS设置设置为一秒:

kinesisConsumerConfig.setProperty(ConsumerConfigConstants.SHARD_GETRECORDS_INTERVAL_MILLIS, "1000");
配置写入缓冲

在本节中,您将配置接收器的写入频率和其他设置。

默认情况下,应用程序每分钟写入一次目标存储桶。您可以通过配置DefaultRollingPolicy对象来更改此间隔和其他设置。

注意

每次应用程序创建检查点时,Apache Flink 流式文件接收器都会写入其输出存储桶。默认情况下,应用程序每分钟创建一个检查点。要增加 S3 接收器的写入间隔,还必须增加检查点间隔。

若要配置DefaultRollingPolicy对象,请执行以下操作:

  1. 增加应用程序的CheckpointInterval设置。以下 UpdateApplication操作输入将检查点间隔设置为 10 分钟:

    { "ApplicationConfigurationUpdate": { "FlinkApplicationConfigurationUpdate": { "CheckpointConfigurationUpdate": { "ConfigurationTypeUpdate" : "CUSTOM", "CheckpointIntervalUpdate": 600000 } } }, "ApplicationName": "MyApplication", "CurrentApplicationVersionId": 5 }

    要使用上述代码,请指定当前应用程序版本。您可以使用ListApplications操作检索应用程序版本。

  2. S3StreamingSinkJob.java文件开头添加以下导入语句:

    import java.util.concurrent.TimeUnit;
  3. 更新S3StreamingSinkJob.java文件中的createS3SinkFromStaticConfig方法,使其看起来与以下内容类似:

    private static StreamingFileSink<String> createS3SinkFromStaticConfig() { final StreamingFileSink<String> sink = StreamingFileSink .forRowFormat(new Path(s3SinkPath), new SimpleStringEncoder<String>("UTF-8")) .withBucketAssigner(new DateTimeBucketAssigner("yyyy-MM-dd--HH")) .withRollingPolicy( DefaultRollingPolicy.create() .withRolloverInterval(TimeUnit.MINUTES.toMillis(8)) .withInactivityInterval(TimeUnit.MINUTES.toMillis(5)) .withMaxPartSize(1024 * 1024 * 1024) .build()) .build(); return sink; }

    前面的代码示例将写入 Amazon S3 存储桶的频率设置为 8 分钟。

有关配置 Apache Flink 流式文件接收器的更多信息,请参阅 Apache Flink 文档中的行编码格式

清理 Amazon 资源

本节包括清理您在 Amazon S3 教程中创建的 Amazon 资源的过程。

删除你的 Apache 托管服务 Flink 应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 “适用于 Apache Flink 的托管服务” 面板中,选择。MyApplication

  3. 在应用程序的页面中,选择删除,然后确认删除。

删除你的 Kinesis 数据流
  1. 打开 Kinesis 控制台,网址为:https://console.aws.amazon.com/kinesis

  2. 在 Kinesis Data Streams 面板中,ExampleInputStream选择。

  3. ExampleInputStream页面上,选择 “删除 Kinesis Stream”,然后确认删除。

删除您的 Amazon S3 对象和存储桶
  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择 ka-app-code- 存储桶。 <username>

  3. 选择 删除,然后输入存储桶名称以确认删除。

删除您的 IAM 资源
  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航栏中,选择策略

  3. 在筛选条件控件中,输入 kinesis

  4. 选择 kinesis-analytics-service--us-MyApplication west-2 策略

  5. 选择 策略操作,然后选择 删除

  6. 在导航栏中,选择角色

  7. 选择 k inesis-analytics-us-west-2 角色MyApplication

  8. 选择 删除角色,然后确认删除。

删除您的 CloudWatch 资源
  1. 打开 CloudWatch 控制台,网址为 https://console.aws.amazon.com/cloudwatch/

  2. 在导航栏中,选择日志

  3. 选择 /aws/kinesis-analytics/ 日志组MyApplication

  4. 选择 删除日志组,然后确认删除。

教程:使用适用于 Apache Flink 应用程序的托管服务将数据从 MSK 集群中的一个主题复制到 VPC 中的另一个主题

注意

有关当前示例,请参见示例

下面的教程演示了如何创建带有 Amazon MSK 集群和两个主题的 Amazon VPC,以及如何创建Managed Service for Apache Flink的应用程序,用于从一个 Amazon MSK 主题读取数据并写入另一个主题。

注意

要为本练习设置所需的先决条件,请先完成入门指南 (DataStream API)练习。

创建带有 Amazon MSK 集群的 Amazon VPC

要创建示例 VPC 和 Amazon MSK 集群以从Managed Service for Apache Flink的应用程序进行访问,请按照 Amazon MSK 入门教程进行操作。

在完成本教程时,请注意以下几点:

  • 步骤 3:创建主题中,重复 kafka-topics.sh --create 命令以创建名为 AWSKafkaTutorialTopicDestination 的目标主题:

    bin/kafka-topics.sh --create --zookeeper ZooKeeperConnectionString --replication-factor 3 --partitions 1 --topic Amazon KafkaTutorialTopicDestination
  • 记录集群的引导服务器列表。您可以使用以下命令获取引导服务器列表(ClusterArn替换为 MSK 集群的 ARN):

    aws kafka get-bootstrap-brokers --region us-west-2 --cluster-arn ClusterArn {... "BootstrapBrokerStringTls": "b-2.awskafkatutorialcluste.t79r6y.c4.kafka.us-west-2.amazonaws.com:9094,b-1.awskafkatutorialcluste.t79r6y.c4.kafka.us-west-2.amazonaws.com:9094,b-3.awskafkatutorialcluste.t79r6y.c4.kafka.us-west-2.amazonaws.com:9094" }
  • 按照教程中的步骤进行操作时,请务必在代码、命令和控制台条目中使用您选择的 Amazon 区域。

创建应用程序代码

在本节中,您下载并编译应用程序 JAR 文件。我们建议使用 Java 11。

此示例的 Java 应用程序代码可从中获得 GitHub。要下载应用程序代码,请执行以下操作:

  1. 如果尚未安装 Git 客户端,请安装它。有关更多信息,请参阅安装 Git

  2. 使用以下命令克隆远程存储库:

    git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git
  3. 应用程序代码位于 amazon-kinesis-data-analytics-java-examples/KafkaConnectors/KafkaGettingStartedJob.java 文件中。您可以检查代码以熟悉Managed Service for Apache Flink的应用程序代码的结构。

  4. 使用命令行 Maven 工具或首选的开发环境以创建 JAR 文件。要使用命令行 Maven 工具编译 JAR 文件,请输入以下内容:

    mvn package -Dflink.version=1.15.3

    如果构建成功,则会创建以下文件:

    target/KafkaGettingStartedJob-1.0.jar
    注意

    提供的源代码依赖于 Java 11 中的库。如果您使用的是开发环境,

上传 Apache Flink 直播 Java 代码

在本节中,您将应用程序代码上传到在入门指南 (DataStream API)教程中创建的 Amazon S3 存储桶。

注意

如果您从入门教程中删除了 Amazon S3 存储桶,请再次执行上传 Apache Flink 直播 Java 代码步骤。

  1. 在 Amazon S3 控制台中,选择 ka-app-code- <username>存储桶,然后选择上传

  2. 选择文件步骤中,选择添加文件。导航到您在上一步中创建的 KafkaGettingStartedJob-1.0.jar 文件。

  3. 您无需更改该对象的任何设置,因此,请选择上传

您的应用程序代码现在存储在 Amazon S3 存储桶中,应用程序可以在其中访问代码。

创建应用程序
  1. 打开适用于 Apache Flink 的托管服务控制台,网址为 https://console.aws.amazon.com/flink。

  2. 在 Managed Service for Apache Flink 控制面板上,选择创建分析应用程序

  3. Managed Service for Apache Flink - 创建应用程序页面上,提供应用程序详细信息,如下所示:

    • 对于应用程序名称,输入 MyApplication

    • 对于运行时,请选择 Apache Flink 版本 1.15.2

  4. 对于访问权限,请选择创建/更新 IAM 角色kinesis-analytics-MyApplication-us-west-2

  5. 选择创建应用程序

注意

在使用控制台创建应用程序的 Managed Service for Apache Flink时,您可以选择为应用程序创建 IAM 角色和策略。您的应用程序使用此角色和策略访问其从属资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

  • 策略:kinesis-analytics-service-MyApplication-us-west-2

  • 角色:kinesisanalytics-MyApplication-us-west-2

配置应用程序
  1. MyApplication页面上,选择配置

  2. 配置应用程序 页面上,提供 代码位置

    • 对于Amazon S3 存储桶,请输入ka-app-code-<username>

    • 在 Amazon S3 对象的路径中,输入KafkaGettingStartedJob-1.0.jar

  3. 对应用程序的访问权限 下,对于 访问权限,选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

    注意

    当您使用控制台指定应用程序资源(例如 CloudWatch 日志或 Amazon VPC)时,控制台会修改您的应用程序执行角色以授予访问这些资源的权限。

  4. Properties (属性) 下面,选择 Add Group (添加组)。输入以下属性:

    组 ID
    KafkaSource topic Amazon KafkaTutorialTopic
    KafkaSource bootstrap.servers 您以前保存的引导服务器列表
    KafkaSource security.protocol SSL
    KafkaSource ssl.truststore.location /usr/lib/jvm/java-11-amazon-corretto/lib/security/cacerts
    KafkaSource ssl.truststore.password changeit
    注意

    默认证书的 ssl.truststore.password 为“changeit”;如果使用默认证书,则不需要更改该值。

    再次选择 Add Group (添加组)。输入以下属性:

    组 ID
    KafkaSink topic Amazon KafkaTutorialTopicDestination
    KafkaSink bootstrap.servers 您以前保存的引导服务器列表
    KafkaSink security.protocol SSL
    KafkaSink ssl.truststore.location /usr/lib/jvm/java-11-amazon-corretto/lib/security/cacerts
    KafkaSink ssl.truststore.password changeit
    KafkaSink transaction.timeout.ms 1000

    应用程序代码读取上述应用程序属性,以配置用于与 VPC 和 Amazon MSK 集群交互的源和接收器。有关使用属性的更多信息,请参阅运行时属性

  5. Snapshots (快照) 下面,选择 Disable (禁用)。这样,就可以轻松更新应用程序,而无需加载无效的应用程序状态数据。

  6. 监控 下,确保 监控指标级别 设置为 应用程序

  7. 要进行CloudWatch 日志记录,请选中 “启用” 复选框。

  8. Virtual Private Cloud (VPC) 部分中,选择要与应用程序关联的 VPC。选择与您的 VPC 关联的子网和安全组,您希望应用程序使用它们访问 VPC 资源。

  9. 选择更新

注意

当您选择启用 CloudWatch 日志记录时,适用于 Apache Flink 的托管服务会为您创建日志组和日志流。这些资源的名称如下所示:

  • 日志组:/aws/kinesis-analytics/MyApplication

  • 日志流:kinesis-analytics-log-stream

该日志流用于监控应用程序。

运行应用程序

可以通过运行应用程序、打开 Apache Flink 控制面板并选择所需的 Flink 任务来查看 Flink 任务图。

测试应用程序

在本节中,您将记录写入到源主题。应用程序从源主题中读取记录,并将其写入到目标主题中。您可以将记录写入到源主题以及从目标主题中读取记录,以验证应用程序是否正常工作。

要写入和读取主题中的记录,请按照 Amazon MSK 入门教程中的步骤 6:生成和使用数据中的步骤进行操作。

要从目标主题中读取,请在到集群的第二个连接中使用目标主题名称,而不是源主题:

bin/kafka-console-consumer.sh --bootstrap-server BootstrapBrokerString --consumer.config client.properties --topic Amazon KafkaTutorialTopicDestination --from-beginning

如果在目标主题中没有任何记录,请参阅故障排除主题中的无法访问 VPC 中的资源一节。

示例:将 EFO 使用器与 Kinesis 数据流配合使用

注意

有关当前示例,请参见示例

在本练习中,您将创建一个适用于 Apache Flink 的托管服务,该应用程序使用增强型扇出 (EF O) 使用器从 Kinesis 数据流中读取。如果 Kinesis 使用者使用 EFO,则 Kinesis Data Streams 服务会为其提供自己的专用带宽,而不是让其与从流中读取数据的其他使用者共享流的固定带宽。

有关在 Kinesis 使用者上使用 EFO 的更多信息,请参阅 FLIP-128:Kinesis 使用者的增强型扇出功能

您在本示例中创建的应用程序使用 Amazon Kinesis 连接器 (flink-connector-kinesis) 1.15.3。

注意

要为本练习设置所需的先决条件,请先完成入门指南 (DataStream API)练习。

创建依赖资源

在本练习中,创建Managed Service for Apache Flink的应用程序之前,您需要创建以下从属资源:

  • 两个 Kinesis 数据流(ExampleInputStreamExampleOutputStream)。

  • 存储应用程序代码 (ka-app-code-<username>) 的 Amazon S3 存储桶

您可以使用控制台创建 Kinesis 流和 Amazon S3 存储桶。有关创建这些资源的说明,请参阅以下主题:

  • Amazon Kinesis Data Streams 开发人员指南中的创建和更新数据流。将数据流命名为 ExampleInputStreamExampleOutputStream

  • Amazon Simple Storage Service 用户指南中的如何创建 S3 存储桶?。附加您的登录名,以便为 Amazon S3 存储桶指定全局唯一的名称,例如 ka-app-code-<username>

将样本记录写入输入流

在本节中,您使用 Python 脚本将示例记录写入流,以供应用程序处理。

注意

此部分需要 Amazon SDK for Python (Boto)

  1. 使用以下内容创建名为 stock.py 的文件:

    import datetime import json import random import boto3 STREAM_NAME = "ExampleInputStream" def get_data(): return { 'event_time': datetime.datetime.now().isoformat(), 'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']), 'price': round(random.random() * 100, 2)} def generate(stream_name, kinesis_client): while True: data = get_data() print(data) kinesis_client.put_record( StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey") if __name__ == '__main__': generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))
  2. 运行 stock.py 脚本:

    $ python stock.py

    在完成本教程的其余部分时,请将脚本保持运行状态。

下载并检查应用程序代码

此示例的 Java 应用程序代码可从中获得 GitHub。要下载应用程序代码,请执行以下操作:

  1. 如果尚未安装 Git 客户端,请安装它。有关更多信息,请参阅安装 Git

  2. 使用以下命令克隆远程存储库:

    git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git
  3. 导航到 amazon-kinesis-data-analytics-java-examples/EfoConsumer 目录。

应用程序代码位于 EfoApplication.java 文件中。请注意有关应用程序代码的以下信息:

  • 您可以通过在 Kinesis 使用者上设置以下参数来启用 EFO 使用者:

    • RECORD_PUBLISHER_TYPE:将此参数设置为 EFO,让您的应用程序使用 EFO 使用者访问 Kinesis 数据流数据。

    • EFO_CONSUMER_NAME:将此参数设置为该流使用者中的唯一字符串值。在同一 Kinesis 数据流中重复使用使用者名称,会导致之前使用该名称的使用者被终止。

  • 以下代码示例演示如何为使用者配置属性赋值,以便使用 EFO 使用者从源流中读取:

    consumerConfig.putIfAbsent(RECORD_PUBLISHER_TYPE, "EFO"); consumerConfig.putIfAbsent(EFO_CONSUMER_NAME, "basic-efo-flink-app");
编译应用程序代码

要编译应用程序,请执行以下操作:

  1. 如果还没有 Java 和 Maven,请安装它们。有关更多信息,请参阅入门指南 (DataStream API)教程中的先决条件

  2. 使用以下命令编译应用程序:

    mvn package -Dflink.version=1.15.3
    注意

    提供的源代码依赖于 Java 11 中的库。

编译应用程序将创建应用程序 JAR 文件 (target/aws-kinesis-analytics-java-apps-1.0.jar)。

上传 Apache Flink 直播 Java 代码

在本节中,您将应用程序代码上传到在创建依赖资源一节中创建的 Amazon S3 存储桶。

  1. 在 Amazon S3 控制台中,选择 ka-app-code- <username>存储桶,然后选择上传

  2. 选择文件步骤中,选择添加文件。导航到您在上一步中创建的 aws-kinesis-analytics-java-apps-1.0.jar 文件。

  3. 您无需更改该对象的任何设置,因此,请选择上传

您的应用程序代码现在存储在 Amazon S3 存储桶中,应用程序可以在其中访问代码。

创建并运行适用于 Apache 的托管服务 Flink 应用程序

按照以下步骤,使用控制台创建、配置、更新和运行应用程序。

创建应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Managed Service for Apache Flink 控制面板上,选择创建分析应用程序

  3. Managed Service for Apache Flink - 创建应用程序页面上,提供应用程序详细信息,如下所示:

    • 对于 应用程序名称 ,输入 MyApplication

    • 对于 运行时,请选择 Apache Flink

      注意

      Managed Service for Apache Flink 使用 Apache Flink 版本 1.15.2。

    • 将版本下拉列表保留为 Apache Flink 版本 1.15.2(建议的版本)

  4. 对于访问权限,请选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  5. 选择创建应用程序

注意

在使用控制台创建应用程序的 Managed Service for Apache Flink时,您可以选择为应用程序创建 IAM 角色和策略。您的应用程序使用此角色和策略访问其从属资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

  • 策略:kinesis-analytics-service-MyApplication-us-west-2

  • 角色:kinesisanalytics-MyApplication-us-west-2

编辑 IAM 政策

编辑 IAM policy 以添加访问 Kinesis 数据流的权限。

  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 选择策略。选择控制台在上一部分中为您创建的 kinesis-analytics-service-MyApplication-us-west-2 策略。

  3. 摘要 页面上,选择 编辑策略。选择 JSON 选项卡。

  4. 将以下策略示例中突出显示的部分添加到策略中。将示例账户 ID (012345678901) 替换为您的账户 ID。

    注意

    这些权限使应用程序能够访问 EFO 使用者。

    { "Version": "2012-10-17", "Statement": [ { "Sid": "ReadCode", "Effect": "Allow", "Action": [ "s3:GetObject", "logs:DescribeLogGroups", "s3:GetObjectVersion" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*", "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar" ] }, { "Sid": "DescribeLogStreams", "Effect": "Allow", "Action": "logs:DescribeLogStreams", "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*" }, { "Sid": "PutLogEvents", "Effect": "Allow", "Action": "logs:PutLogEvents", "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream" }, { "Sid": "ListCloudwatchLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*" ] }, { "Sid": "AllStreams", "Effect": "Allow", "Action": [ "kinesis:ListShards", "kinesis:ListStreamConsumers", "kinesis:DescribeStreamSummary" ], "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/*" }, { "Sid": "Stream", "Effect": "Allow", "Action": [ "kinesis:DescribeStream", "kinesis:RegisterStreamConsumer", "kinesis:DeregisterStreamConsumer" ], "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteOutputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream" }, { "Sid": "Consumer", "Effect": "Allow", "Action": [ "kinesis:DescribeStreamConsumer", "kinesis:SubscribeToShard" ], "Resource": [ "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream/consumer/my-efo-flink-app", "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream/consumer/my-efo-flink-app:*" ] } ] }
配置应用程序
  1. MyApplication页面上,选择配置

  2. 配置应用程序 页面上,提供 代码位置

    • 对于Amazon S3 存储桶,请输入ka-app-code-<username>

    • 在 Amazon S3 对象的路径中,输入aws-kinesis-analytics-java-apps-1.0.jar

  3. 对应用程序的访问权限 下,对于 访问权限,选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  4. 属性下,选择创建组

  5. 输入以下应用程序属性和值:

    组 ID
    ConsumerConfigProperties flink.stream.recordpublisher EFO
    ConsumerConfigProperties flink.stream.efo.consumername basic-efo-flink-app
    ConsumerConfigProperties INPUT_STREAM ExampleInputStream
    ConsumerConfigProperties flink.inputstream.initpos LATEST
    ConsumerConfigProperties AWS_REGION us-west-2
  6. 属性下,选择创建组

  7. 输入以下应用程序属性和值:

    组 ID
    ProducerConfigProperties OUTPUT_STREAM ExampleOutputStream
    ProducerConfigProperties AWS_REGION us-west-2
    ProducerConfigProperties AggregationEnabled false
  8. 监控 下,确保 监控指标级别 设置为 应用程序

  9. 要进行CloudWatch 日志记录,请选中 “启用” 复选框。

  10. 选择更新

注意

当您选择启用 CloudWatch 日志记录时,适用于 Apache Flink 的托管服务会为您创建日志组和日志流。这些资源的名称如下所示:

  • 日志组:/aws/kinesis-analytics/MyApplication

  • 日志流:kinesis-analytics-log-stream

该日志流用于监控应用程序。这与应用程序用于发送结果的日志流不同。

运行应用程序

可以通过运行应用程序、打开 Apache Flink 控制面板并选择所需的 Flink 任务来查看 Flink 任务图。

您可以在 CloudWatch 控制台上查看托管服务的 Apache Flink 指标,以验证应用程序是否正常运行。

您也可以在 Kinesis Data Streams 控制台的数据流的 “增强扇出” 选项卡中查看使用者的姓名()。basic-efo-flink-app

清理 Amazon 资源

本节包括清理在 efo Window 教程中创建的 Amazon 资源的过程。

删除你的 Apache 托管服务 Flink 应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Apache Flink 的托管服务面板中,选择。MyApplication

  3. 在应用程序的页面中,选择 删除,然后确认删除。

删除你的 Kinesis 数据流
  1. 打开 Kinesis 控制台,网址为:https://console.aws.amazon.com/kinesis

  2. 在 Kinesis Data Streams 面板中,ExampleInputStream选择。

  3. 在该ExampleInputStream页面中,选择 “删除 Kinesis Stream”,然后确认删除。

  4. Kinesis 直播页面中 ExampleOutputStream,选择,选择操作,选择删除,然后确认删除。

删除您的 Amazon S3 对象和存储桶
  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择 ka-app-code- 存储桶。 <username>

  3. 选择 删除,然后输入存储桶名称以确认删除。

删除您的 IAM 资源
  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航栏中,选择策略

  3. 在筛选条件控件中,输入 kinesis

  4. 选择 kinesis-analytics-service--us-MyApplication west-2 策略

  5. 选择 策略操作,然后选择 删除

  6. 在导航栏中,选择 角色

  7. 选择 k inesis-analytics-us-west-2 角色MyApplication

  8. 选择 删除角色,然后确认删除。

删除您的 CloudWatch 资源
  1. 打开 CloudWatch 控制台,网址为 https://console.aws.amazon.com/cloudwatch/

  2. 在导航栏中,选择 日志

  3. 选择 /aws/kinesis-analytics/ 日志组MyApplication

  4. 选择 删除日志组,然后确认删除。

示例:写入 Firehose

注意

有关当前示例,请参见示例

在本练习中,您将创建一个适用于 Apache Flink 的托管服务,该应用程序以 Kinesis 数据流作为源,将 Firehose 流作为接收器。通过使用接收器,您可以在 Amazon S3 存储桶中验证应用程序的输出。

注意

要为本练习设置所需的先决条件,请先完成入门指南 (DataStream API)练习。

创建依赖资源

在本练习中创建 Managed Service for Apache Flink之前,您需要创建以下从属资源:

  • Kinesis 数据流 (ExampleInputStream)

  • 应用程序将输出写入的 Firehose 流 () ExampleDeliveryStream

  • 存储应用程序代码 (ka-app-code-<username>) 的 Amazon S3 存储桶

您可以使用控制台创建 Kinesis 流、Amazon S3 存储桶和 Firehose 流。有关创建这些资源的说明,请参阅以下主题:

将样本记录写入输入流

在本节中,您使用 Python 脚本将示例记录写入流,以供应用程序处理。

注意

此部分需要 Amazon SDK for Python (Boto)

  1. 使用以下内容创建名为 stock.py 的文件:

    import datetime import json import random import boto3 STREAM_NAME = "ExampleInputStream" def get_data(): return { 'event_time': datetime.datetime.now().isoformat(), 'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']), 'price': round(random.random() * 100, 2)} def generate(stream_name, kinesis_client): while True: data = get_data() print(data) kinesis_client.put_record( StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey") if __name__ == '__main__': generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))
  2. 运行 stock.py 脚本:

    $ python stock.py

    在完成本教程的其余部分时,请将脚本保持运行状态。

下载并查看 Apache Flink 流式传输 Java 代码

此示例的 Java 应用程序代码可从中获得 GitHub。要下载应用程序代码,请执行以下操作:

  1. 使用以下命令克隆远程存储库:

    git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git
  2. 导航到 amazon-kinesis-data-analytics-java-examples/FirehoseSink 目录。

应用程序代码位于 FirehoseSinkStreamingJob.java 文件中。请注意有关应用程序代码的以下信息:

  • 应用程序使用 Kinesis 源从源流中进行读取。以下代码段创建 Kinesis 源:

    return env.addSource(new FlinkKinesisConsumer<>(inputStreamName, new SimpleStringSchema(), inputProperties));
  • 该应用程序使用 Firehose 接收器将数据写入 Firehose 流。以下代码段创建了 Firehose 接收器:

    private static KinesisFirehoseSink<String> createFirehoseSinkFromStaticConfig() { Properties sinkProperties = new Properties(); sinkProperties.setProperty(AWS_REGION, region); return KinesisFirehoseSink.<String>builder() .setFirehoseClientProperties(sinkProperties) .setSerializationSchema(new SimpleStringSchema()) .setDeliveryStreamName(outputDeliveryStreamName) .build(); }
编译应用程序代码

要编译应用程序,请执行以下操作:

  1. 如果还没有 Java 和 Maven,请安装它们。有关更多信息,请参阅入门指南 (DataStream API)教程中的先决条件

  2. 要将 Kinesis 连接器用于以下应用程序,您需要下载、构建并安装 Apache Maven。有关更多信息,请参阅 将 Apache Flink Kinesis Streams 连接器与之前的 Apache Flink 版本一起使用

  3. 使用以下命令编译应用程序:

    mvn package -Dflink.version=1.15.3
    注意

    提供的源代码依赖于 Java 11 中的库。

编译应用程序将创建应用程序 JAR 文件 (target/aws-kinesis-analytics-java-apps-1.0.jar)。

上传 Apache Flink 直播 Java 代码

在本节中,您将应用程序代码上传到在创建依赖资源一节中创建的 Amazon S3 存储桶。

上传应用程序代码
  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 在控制台中,选择 ka-app-code- <username>存储桶,然后选择 Uploa d

  3. 选择文件步骤中,选择添加文件。导航到您在上一步中创建的 java-getting-started-1.0.jar 文件。

  4. 您无需更改该对象的任何设置,因此,请选择上传

您的应用程序代码现在存储在 Amazon S3 存储桶中,应用程序可以在其中访问代码。

创建并运行适用于 Apache 的托管服务 Flink 应用程序

您可以使用控制台或 Amazon CLI创建和运行Managed Service for Apache Flink的应用程序。

注意

当您使用控制台创建应用程序时,系统会为您创建您的 Amazon Identity and Access Management (IAM) 和 A CloudWatch mazon Logs 资源。使用创建应用程序时 Amazon CLI,可以单独创建这些资源。

创建并运行应用程序(控制台)

按照以下步骤,使用控制台创建、配置、更新和运行应用程序。

创建应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Managed Service for Apache Flink 控制面板上,选择创建分析应用程序

  3. Managed Service for Apache Flink - 创建应用程序页面上,提供应用程序详细信息,如下所示:

    • 对于 应用程序名称 ,输入 MyApplication

    • 对于描述,输入 My java test app

    • 对于 运行时,请选择 Apache Flink

      注意

      Managed Service for Apache Flink 使用 Apache Flink 版本 1.15.2。

    • 将版本下拉列表保留为 Apache Flink 版本 1.15.2(建议的版本)

  4. 对于访问权限,请选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  5. 选择创建应用程序

注意

在使用控制台创建应用程序时,您可以选择为应用程序创建 IAM 角色和策略。应用程序使用该角色和策略访问其相关资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

  • 策略:kinesis-analytics-service-MyApplication-us-west-2

  • 角色:kinesisanalytics-MyApplication-us-west-2

编辑 IAM 政策

编辑 IAM 策略以添加访问 Kinesis 数据流和 Firehose 流的权限。

  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 选择策略。选择控制台在上一部分中为您创建的 kinesis-analytics-service-MyApplication-us-west-2 策略。

  3. 摘要 页面上,选择 编辑策略。选择 JSON 选项卡。

  4. 将以下策略示例中突出显示的部分添加到策略中。将示例账户 ID (012345678901) 的所有实例替换为您的账户 ID。

    { "Version": "2012-10-17", "Statement": [ { "Sid": "ReadCode", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": [ "arn:aws:s3:::ka-app-code-username/java-getting-started-1.0.jar" ] }, { "Sid": "DescribeLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*" ] }, { "Sid": "DescribeLogStreams", "Effect": "Allow", "Action": [ "logs:DescribeLogStreams" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*" ] }, { "Sid": "PutLogEvents", "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteDeliveryStream", "Effect": "Allow", "Action": "firehose:*", "Resource": "arn:aws:firehose:us-west-2:012345678901:deliverystream/ExampleDeliveryStream" } ] }
配置应用程序
  1. MyApplication页面上,选择配置

  2. 配置应用程序 页面上,提供 代码位置

    • 对于Amazon S3 存储桶,请输入ka-app-code-<username>

    • 在 Amazon S3 对象的路径中,输入java-getting-started-1.0.jar

  3. 对应用程序的访问权限 下,对于 访问权限,选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  4. 监控 下,确保 监控指标级别 设置为 应用程序

  5. 要进行CloudWatch 日志记录,请选中 “启用” 复选框。

  6. 选择更新

注意

当您选择启用 CloudWatch 日志记录时,适用于 Apache Flink 的托管服务会为您创建日志组和日志流。这些资源的名称如下所示:

  • 日志组:/aws/kinesis-analytics/MyApplication

  • 日志流:kinesis-analytics-log-stream

运行应用程序

可以通过运行应用程序、打开 Apache Flink 控制面板并选择所需的 Flink 任务来查看 Flink 任务图。

停止应用程序

MyApplication页面上,选择停止。确认该操作。

更新应用程序

使用控制台,您可以更新应用程序设置,例如应用程序属性、监控设置,或应用程序 JAR 文件的位置和文件名。

MyApplication页面上,选择配置。更新应用程序设置,然后选择更新

注意

要在控制台上更新应用程序的代码,您必须更改 JAR 的对象名称,使用不同的 S3 存储桶,或使用更新应用程序代码一节中所述的 Amazon CLI 。如果文件名或存储桶未更改,则当您在配置页面上选择更新时,不会重新加载应用程序代码。

创建并运行应用程序 (Amazon CLI)

在本节中,您将使用创建和运行适用 Amazon CLI 于 Apache Flink 的托管服务应用程序。

创建权限策略

首先,使用两个语句创建权限策略:一个语句授予对源流执行 read 操作的权限,另一个语句授予对接收器流执行 write 操作的权限。然后,将策略附加到 IAM 角色(下一部分中将创建此角色)。因此,在 Managed Service for Apache Flink代入该角色时,服务具有必要的权限从源流进行读取和写入接收器流。

使用以下代码创建 AKReadSourceStreamWriteSinkStream 权限策略。将 username 替换为用于创建 Amazon S3 存储桶以存储应用程序代码的用户名。将 Amazon 资源名称 (ARN) 中的账户 ID (012345678901) 替换为您的账户 ID。

{ "Version": "2012-10-17", "Statement": [ { "Sid": "S3", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": ["arn:aws:s3:::ka-app-code-username", "arn:aws:s3:::ka-app-code-username/*" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteDeliveryStream", "Effect": "Allow", "Action": "firehose:*", "Resource": "arn:aws:firehose:us-west-2:012345678901:deliverystream/ExampleDeliveryStream" } ] }

有关创建权限策略的 step-by-step 说明,请参阅 IAM 用户指南中的教程:创建并附加您的第一个客户托管策略

注意

要访问其他 Amazon 服务,可以使用 Amazon SDK for Java。Managed Service for Apache Flink 会自动将软件开发工具包所需的证书设置为与您的应用程序关联的服务执行 IAM 角色的证书。无需执行其他步骤。

创建 IAM 角色

在本节中,您将创建一个 IAM 角色,应用程序的 Managed Service for Apache Flink可以代入此角色来读取源流和写入接收器流。

权限不足时,Managed Service for Apache Flink无法访问您的串流。您通过 IAM 角色授予这些权限。每个 IAM 角色附加了两种策略。信任策略会向Managed Service for Apache Flink授权担任该角色。权限策略确定Managed Service for Apache Flink在担任该角色后可以执行的操作。

您将在上一部分中创建的权限策略附加到此角色。

创建 IAM 角色
  1. 通过以下网址打开 IAM 控制台:https://console.aws.amazon.com/iam/

  2. 在导航窗格中,选择 角色创建角色

  3. 选择受信任实体的类型 下,选择 Amazon 服务。在 选择将使用此角色的服务 下,选择 Kinesis。在选择您的使用案例下,选择 Kinesis Analytics

    选择下一步: 权限

  4. 附加权限策略 页面上,选择 下一步: 审核。在创建角色后,您可以附加权限策略。

  5. 创建角色 页面上,输入MF-stream-rw-role作为角色名称。选择 创建角色

    现在,您已经创建了一个名为 MF-stream-rw-role 的新 IAM 角色。接下来,您更新角色的信任和权限策略。

  6. 将权限策略附加到角色。

    注意

    对于本练习,Managed Service for Apache Flink代入此角色,以便同时从 Kinesis 数据流(源)读取数据和将输出写入另一个 Kinesis 数据流。因此,您附加在上一步(创建权限策略)中创建的策略。

    1. 摘要 页上,选择 权限 选项卡。

    2. 选择附加策略

    3. 在搜索框中,输入 AKReadSourceStreamWriteSinkStream(您在上一部分中创建的策略)。

    4. 选择 A K ReadSourceStreamWriteSinkStream 策略,然后选择附加策略

现在,您已创建应用程序用于访问资源的服务执行角色。记下新角色的 ARN。

有关创建角色的 step-by-step 说明,请参阅 IAM 用户指南中的创建 IAM 角色(控制台)

为 Apache Flink 应用程序创建托管服务
  1. 将以下 JSON 代码保存到名为 create_request.json 的文件中。将示例角色 ARN 替换为您之前创建的角色的 ARN。将存储桶 ARN 后缀替换为在创建依赖资源一节中选择的后缀 (ka-app-code-<username>)。将服务执行角色中的示例账户 ID (012345678901) 替换为您的账户 ID。

    { "ApplicationName": "test", "ApplicationDescription": "my java test app", "RuntimeEnvironment": "FLINK-1_15", "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role", "ApplicationConfiguration": { "ApplicationCodeConfiguration": { "CodeContent": { "S3ContentLocation": { "BucketARN": "arn:aws:s3:::ka-app-code-username", "FileKey": "java-getting-started-1.0.jar" } }, "CodeContentType": "ZIPFILE" } } } }
  2. 使用上述请求执行 CreateApplication 操作来创建应用程序:

    aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

应用程序现已创建。您在下一步中启动应用程序。

启动应用程序

在本节中,您使用 StartApplication 操作来启动应用程序。

启动应用程序
  1. 将以下 JSON 代码保存到名为 start_request.json 的文件中。

    { "ApplicationName": "test", "RunConfiguration": { "ApplicationRestoreConfiguration": { "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT" } } }
  2. 使用上述请求执行 StartApplication 操作来启动应用程序:

    aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

应用程序正在运行。您可以在亚马逊 CloudWatch 控制台上查看托管服务的 Apache Flink 指标,以验证应用程序是否正常运行。

停止应用程序

在本节中,您使用 StopApplication 操作来停止应用程序。

停止应用程序
  1. 将以下 JSON 代码保存到名为 stop_request.json 的文件中。

    { "ApplicationName": "test" }
  2. 使用下面的请求执行 StopApplication 操作来停止应用程序:

    aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

应用程序现已停止。

添加 CloudWatch 日志选项

您可以使用将 Amazon CloudWatch 日志流 Amazon CLI 添加到您的应用程序中。有关在应用程序中使用 CloudWatch Logs 的信息,请参阅设置应用程序日志

更新应用程序代码

当您需要使用新版本的代码包更新应用程序代码时,可以使用UpdateApplication Amazon CLI 操作。

要使用 Amazon CLI,请从 Amazon S3 存储桶中删除之前的代码包,上传新版本,然后调用UpdateApplication,指定相同的 Amazon S3 存储桶和对象名称。

以下示例 UpdateApplication 操作请求重新加载应用程序代码并重新启动应用程序。将 CurrentApplicationVersionId 更新为当前的应用程序版本。您可以使用 ListApplicationsDescribeApplication 操作检查当前的应用程序版本。将存储桶名称后缀 (<用户名>) 更新为在创建依赖资源一节中选择的后缀。

{ "ApplicationName": "test", "CurrentApplicationVersionId": 1, "ApplicationConfigurationUpdate": { "ApplicationCodeConfigurationUpdate": { "CodeContentUpdate": { "S3ContentLocationUpdate": { "BucketARNUpdate": "arn:aws:s3:::ka-app-code-username", "FileKeyUpdate": "java-getting-started-1.0.jar" } } } } }
清理 Amazon 资源

本节包括清理入门教程中创建的 Amazon 资源的过程。

删除你的 Apache 托管服务 Flink 应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 “适用于 Apache Flink 的托管服务” 面板中,选择。MyApplication

  3. 选择 配置

  4. Snapshots (快照) 部分中,选择 Disable (禁用),然后选择 Update (更新)

  5. 在应用程序的页面中,选择 删除,然后确认删除。

删除你的 Kinesis 数据流
  1. 打开 Kinesis 控制台,网址为:https://console.aws.amazon.com/kinesis

  2. 在 Kinesis Data Streams 面板中,ExampleInputStream选择。

  3. 在该ExampleInputStream页面中,选择 “删除 Kinesis Stream”,然后确认删除。

删除你的 Firehose 直播
  1. 打开 Kinesis 控制台,网址为:https://console.aws.amazon.com/kinesis

  2. 在 Firehose 面板中,选择。ExampleDeliveryStream

  3. ExampleDeliveryStream页面中,选择 “删除 Firehose 直播”,然后确认删除。

删除您的 Amazon S3 对象和存储桶
  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择 ka-app-code- 存储桶。 <username>

  3. 选择 删除,然后输入存储桶名称以确认删除。

  4. 如果您为 Firehose 直播的目标创建了 Amazon S3 存储桶,请同时删除该存储桶。

删除您的 IAM 资源
  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航栏中,选择策略

  3. 在筛选条件控件中,输入 kinesis

  4. 选择 kinesis-analytics-service--us-MyApplication west-2 策略

  5. 选择 策略操作,然后选择 删除

  6. 如果您为 Firehose 直播创建了新政策,请同时删除该政策。

  7. 在导航栏中,选择 角色

  8. 选择 k inesis-analytics-us-west-2 角色MyApplication

  9. 选择 删除角色,然后确认删除。

  10. 如果您为 Firehose 直播创建了新角色,请同时删除该角色。

删除您的 CloudWatch 资源
  1. 打开 CloudWatch 控制台,网址为 https://console.aws.amazon.com/cloudwatch/

  2. 在导航栏中,选择 日志

  3. 选择 /aws/kinesis-analytics/ 日志组MyApplication

  4. 选择 删除日志组,然后确认删除。

示例:从其他账户的 Kinesis 直播中读取

注意

有关当前示例,请参见示例

该示例说明了如何创建Managed Service for Apache Flink的应用程序,以从不同账户的 Kinesis 流中读取数据。在该示例中,您将一个账户用于源 Kinesis 流,并将第二个账户用于Managed Service for Apache Flink的应用程序和接收器 Kinesis 流。

先决条件
  • 在本教程中,您修改入门示例以从不同账户的 Kinesis 流中读取数据。在继续之前,请完成入门指南 (DataStream API)教程。

  • 您需要两个 Amazon 帐户才能完成本教程:一个用于源流,一个用于应用程序和接收流。使用您在入门教程中使用的应用程序和接收流的 Amazon 帐户。将一个不同的 Amazon 账户用于源流。

设置

您将使用已命名的个人资料访问您的两个 Amazon 帐户。修改您的 Amazon 凭证和配置文件,使其包含两个配置文件,其中包含两个账户的区域和连接信息。

以下示例凭证文件包含两个命名的配置文件:ka-source-stream-account-profileka-sink-stream-account-profile。将您用于入门教程的账户作为接收器流账户。

[ka-source-stream-account-profile] aws_access_key_id=AKIAIOSFODNN7EXAMPLE aws_secret_access_key=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY [ka-sink-stream-account-profile] aws_access_key_id=AKIAI44QH8DHBEXAMPLE aws_secret_access_key=je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY

以下示例配置文件包含具有区域和输出格式信息的相同命名配置文件。

[profile ka-source-stream-account-profile] region=us-west-2 output=json [profile ka-sink-stream-account-profile] region=us-west-2 output=json
注意

本教程不使用 ka-sink-stream-account-profile。它作为如何使用配置文件访问两个不同 Amazon 帐户的示例包括在内。

有关在中使用命名配置文件的更多信息 Amazon CLI,请参阅Amazon Command Line Interface文档中的命名配置文件。

创建源 Kinesis 直播

在本节中,您在源账户中创建 Kinesis 流。

输入以下命令以创建 Kinesis 流,应用程序将该流用于输入。请注意,--profile 参数指定要使用的账户配置文件。

$ aws kinesis create-stream \ --stream-name SourceAccountExampleInputStream \ --shard-count 1 \ --profile ka-source-stream-account-profile
创建和更新 IAM 角色和策略

要允许跨 Amazon 账户访问对象,请在源账户中创建 IAM 角色和策略。然后,您在接收器账户中修改 IAM policy。有关创建 IAM 角色和策略的信息,请参阅Amazon Identity and Access Management 用户指南中的以下主题:

Sink 账户角色和政策
  1. 编辑入门教程中的 kinesis-analytics-service-MyApplication-us-west-2 策略。该策略允许担任源账户中的角色,以便读取源流。

    注意

    当您使用控制台创建应用程序时,控制台会创建一个名为 kinesis-analytics-service-<application name>-<application region> 的策略和一个名为 kinesisanalytics-<application name>-<application region> 的角色。

    将下面突出显示的部分添加到策略中。将示例账户 ID (SOURCE01234567) 替换为将用于源流的账户的 ID。

    { "Version": "2012-10-17", "Statement": [ { "Sid": "AssumeRoleInSourceAccount", "Effect": "Allow", "Action": "sts:AssumeRole", "Resource": "arn:aws:iam::SOURCE01234567:role/KA-Source-Stream-Role" }, { "Sid": "ReadCode", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": [ "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar" ] }, { "Sid": "ListCloudwatchLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:us-west-2:SINK012345678:log-group:*" ] }, { "Sid": "ListCloudwatchLogStreams", "Effect": "Allow", "Action": [ "logs:DescribeLogStreams" ], "Resource": [ "arn:aws:logs:us-west-2:SINK012345678:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*" ] }, { "Sid": "PutCloudwatchLogs", "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:us-west-2:SINK012345678:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream" ] } ] }
  2. 打开 kinesis-analytics-MyApplication-us-west-2 角色,并记下其 Amazon 资源名称 (ARN)。您需要在下一部分中使用该名称。角色 ARN 如下所示。

    arn:aws:iam::SINK012345678:role/service-role/kinesis-analytics-MyApplication-us-west-2
来源账户角色和政策
  1. 在名为 KA-Source-Stream-Policy 的源账户中创建一个策略。将以下 JSON 用于该策略。将示例账号替换为源账户的账号。

    { "Version": "2012-10-17", "Statement": [ { "Sid": "ReadInputStream", "Effect": "Allow", "Action": [ "kinesis:DescribeStream", "kinesis:GetRecords", "kinesis:GetShardIterator", "kinesis:ListShards" ], "Resource": "arn:aws:kinesis:us-west-2:SOURCE123456784:stream/SourceAccountExampleInputStream" } ] }
  2. 在名为 MF-Source-Stream-Role 的源账户中创建一个角色。执行以下操作以使用 Managed Flink 用例创建角色:

    1. 在 IAM 管理控制台中,选择创建角色

    2. 创建角色页面上,选择Amazon 服务。在服务列表中,选择 Kinesis

    3. 选择您的用例部分,选择Managed Service for Apache Flink

    4. 选择下一步:权限

    5. 添加您在上一步中创建的 KA-Source-Stream-Policy 权限策略。选择下一步: 标签

    6. 选择 下一步: 审核

    7. 将角色命名为 KA-Source-Stream-Role。应用程序将使用该角色以访问源流。

  3. 将接收器账户中的 kinesis-analytics-MyApplication-us-west-2 ARN 添加到源账户中的 KA-Source-Stream-Role 角色的信任关系中:

    1. 打开 IAM 控制台中的 KA-Source-Stream-Role

    2. 选择 Trust Relationships 选项卡。

    3. 选择编辑信任关系

    4. 将以下代码用于信任关系。将示例账户 ID (SINK012345678) 替换为接收器账户 ID。

      { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::SINK012345678:role/service-role/kinesis-analytics-MyApplication-us-west-2" }, "Action": "sts:AssumeRole" } ] }
更新 Python 脚本

在本节中,您更新生成示例数据的 Python 脚本以使用源账户配置文件。

使用以下突出显示的更改更新 stock.py 脚本。

import json import boto3 import random import datetime import os os.environ['AWS_PROFILE'] ='ka-source-stream-account-profile' os.environ['AWS_DEFAULT_REGION'] = 'us-west-2' kinesis = boto3.client('kinesis') def getReferrer(): data = {} now = datetime.datetime.now() str_now = now.isoformat() data['event_time'] = str_now data['ticker'] = random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']) price = random.random() * 100 data['price'] = round(price, 2) return data while True: data = json.dumps(getReferrer()) print(data) kinesis.put_record( StreamName="SourceAccountExampleInputStream", Data=data, PartitionKey="partitionkey")
更新 Java 应用程序

在本节中,您更新 Java 应用程序代码,以便从源流中读取时担任源账户角色。

BasicStreamingJob.java 文件进行以下更改。将示例源账号 (SOURCE01234567) 替换为您的源账号。

package com.amazonaws.services.managed-flink; import com.amazonaws.services.managed-flink.runtime.KinesisAnalyticsRuntime; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.connectors.kinesis.FlinkKinesisConsumer; import org.apache.flink.streaming.connectors.kinesis.FlinkKinesisProducer; import org.apache.flink.streaming.connectors.kinesis.config.ConsumerConfigConstants; import org.apache.flink.streaming.connectors.kinesis.config.AWSConfigConstants; import java.io.IOException; import java.util.Map; import java.util.Properties; /** * A basic Managed Service for Apache Flink for Java application with Kinesis data streams * as source and sink. */ public class BasicStreamingJob { private static final String region = "us-west-2"; private static final String inputStreamName = "SourceAccountExampleInputStream"; private static final String outputStreamName = ExampleOutputStream; private static final String roleArn = "arn:aws:iam::SOURCE01234567:role/KA-Source-Stream-Role"; private static final String roleSessionName = "ksassumedrolesession"; private static DataStream<String> createSourceFromStaticConfig(StreamExecutionEnvironment env) { Properties inputProperties = new Properties(); inputProperties.setProperty(AWSConfigConstants.AWS_CREDENTIALS_PROVIDER, "ASSUME_ROLE"); inputProperties.setProperty(AWSConfigConstants.AWS_ROLE_ARN, roleArn); inputProperties.setProperty(AWSConfigConstants.AWS_ROLE_SESSION_NAME, roleSessionName); inputProperties.setProperty(ConsumerConfigConstants.AWS_REGION, region); inputProperties.setProperty(ConsumerConfigConstants.STREAM_INITIAL_POSITION, "LATEST"); return env.addSource(new FlinkKinesisConsumer<>(inputStreamName, new SimpleStringSchema(), inputProperties)); } private static KinesisStreamsSink<String> createSinkFromStaticConfig() { Properties outputProperties = new Properties(); outputProperties.setProperty(AWSConfigConstants.AWS_REGION, region); return KinesisStreamsSink.<String>builder() .setKinesisClientProperties(outputProperties) .setSerializationSchema(new SimpleStringSchema()) .setStreamName(outputProperties.getProperty("OUTPUT_STREAM", "ExampleOutputStream")) .setPartitionKeyGenerator(element -> String.valueOf(element.hashCode())) .build(); } public static void main(String[] args) throws Exception { // set up the streaming execution environment final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream<String> input = createSourceFromStaticConfig(env); input.addSink(createSinkFromStaticConfig()); env.execute("Flink Streaming Java API Skeleton"); } }
构建、上传和运行应用程序

执行以下操作以更新和运行应用程序:

  1. 在具有 pom.xml 文件的目录中运行以下命令,以再次构建应用程序。

    mvn package -Dflink.version=1.15.3
  2. 从 Amazon Simple Storage Service (Amazon S3) 存储桶中删除以前的 JAR 文件,然后将新的aws-kinesis-analytics-java-apps-1.0.jar文件上传到 S3 存储桶中。

  3. 在Managed Service for Apache Flink的控制台中,在应用程序页面选择配置更新以重新加载应用程序 JAR 文件。

  4. 运行 stock.py 脚本以将数据发送到源流。

    python stock.py

现在,应用程序从另一个账户的 Kinesis 流中读取数据。

您可以检查 ExampleOutputStream 流的 PutRecords.Bytes 指标,以验证应用程序是否正常工作。如果在输出流中具有活动,则应用程序正常工作。

教程:在 Amazon MSK 中使用自定义信任库

注意

有关当前示例,请参见示例

当前数据来源 API

如果您使用的是当前的数据源 API,则您的应用程序可以利用此处描述的 Amazon MSK Config Providers 实用程序。这样,您的 KafkaSource 函数就可以在 Amazon S3 中访问您的密钥库和信任库以实现双向 TLS。

... // define names of config providers: builder.setProperty("config.providers", "secretsmanager,s3import"); // provide implementation classes for each provider: builder.setProperty("config.providers.secretsmanager.class", "com.amazonaws.kafka.config.providers.SecretsManagerConfigProvider"); builder.setProperty("config.providers.s3import.class", "com.amazonaws.kafka.config.providers.S3ImportConfigProvider"); String region = appProperties.get(Helpers.S3_BUCKET_REGION_KEY).toString(); String keystoreS3Bucket = appProperties.get(Helpers.KEYSTORE_S3_BUCKET_KEY).toString(); String keystoreS3Path = appProperties.get(Helpers.KEYSTORE_S3_PATH_KEY).toString(); String truststoreS3Bucket = appProperties.get(Helpers.TRUSTSTORE_S3_BUCKET_KEY).toString(); String truststoreS3Path = appProperties.get(Helpers.TRUSTSTORE_S3_PATH_KEY).toString(); String keystorePassSecret = appProperties.get(Helpers.KEYSTORE_PASS_SECRET_KEY).toString(); String keystorePassSecretField = appProperties.get(Helpers.KEYSTORE_PASS_SECRET_FIELD_KEY).toString(); // region, etc.. builder.setProperty("config.providers.s3import.param.region", region); // properties builder.setProperty("ssl.truststore.location", "${s3import:" + region + ":" + truststoreS3Bucket + "/" + truststoreS3Path + "}"); builder.setProperty("ssl.keystore.type", "PKCS12"); builder.setProperty("ssl.keystore.location", "${s3import:" + region + ":" + keystoreS3Bucket + "/" + keystoreS3Path + "}"); builder.setProperty("ssl.keystore.password", "${secretsmanager:" + keystorePassSecret + ":" + keystorePassSecretField + "}"); builder.setProperty("ssl.key.password", "${secretsmanager:" + keystorePassSecret + ":" + keystorePassSecretField + "}"); ...

更多细节和演练可以在此处找到。

旧版 SourceFunction API

如果您使用的是旧版 SourceFunction API,则您的应用程序将使用自定义序列化和反序列化架构,这些架构将覆盖加载自定义信任库open的方法。这样,在应用程序重新启动或替换线程之后,该应用程序便可以使用信任库。

使用以下代码检索和存储自定义信任库:

public static void initializeKafkaTruststore() { ClassLoader classLoader = Thread.currentThread().getContextClassLoader(); URL inputUrl = classLoader.getResource("kafka.client.truststore.jks"); File dest = new File("/tmp/kafka.client.truststore.jks"); try { FileUtils.copyURLToFile(inputUrl, dest); } catch (Exception ex) { throw new FlinkRuntimeException("Failed to initialize Kakfa truststore", ex); } }
注意

Apache Flink 要求信任库采用

注意

要为本练习设置所需的先决条件,请先完成入门指南 (DataStream API)练习。

以下教程演示如何安全地连接到 Kafka 集群,该集群使用自定义、私有甚至自托管的证书颁发机构 (CA) 颁发的服务器证书。

为了通过 TLS 将任何 Kafka 客户端安全地连接到 Kafka 集群,Kafka 客户端(如示例 Flink 应用程序)必须信任 Kafka 集群的服务器证书(从颁发证书到根级 CA)提供的完整信任链。以自定义信任库为例,我们将使用启用双向 TLS (MTLS) 身份验证的 Amazon MSK 集群。这意味着 MSK 群集节点使用由证书管理器私有证书颁发机构 (ACM Private CA) 颁发的服务器证书,该证书对您的账户和区域是私有的,因此不受执行 Flink 应用程序的 Java 虚拟机 (JVM) 的默认信任库的信任。 Amazon

注意
  • 钥库用于存储应用程序应同时提供给服务器或客户端进行验证的私钥和身份证书。

  • 信任库用于存储来自认证机构 (CA) 的证书,这些证书用于验证服务器在 SSL 连接中提供的证书。

您还可以使用本教程中的方法,在Managed Service for Apache Flink的应用程序与其他 Apache Kafka 源之间进行交互,例如:

使用 Amazon MSK 集群创建 VPC

要创建示例 VPC 和 Amazon MSK 集群以从Managed Service for Apache Flink的应用程序进行访问,请按照 Amazon MSK 入门教程进行操作。

在完成本教程时,还请执行以下操作:

  • 步骤 3:创建主题中,重复 kafka-topics.sh --create 命令以创建名为 Amazon KafkaTutorialTopicDestination 的目标主题:

    bin/kafka-topics.sh --create --bootstrap-server ZooKeeperConnectionString --replication-factor 3 --partitions 1 --topic AWSKafkaTutorialTopicDestination
    注意

    如果kafka-topics.sh命令返回ZooKeeperClientTimeoutException,请验证 Kafka 集群的安全组是否有允许来自客户端实例私有 IP 地址的所有流量的入站规则。

  • 记录集群的引导服务器列表。您可以使用以下命令获取引导服务器列表(ClusterArn替换为 MSK 集群的 ARN):

    aws kafka get-bootstrap-brokers --region us-west-2 --cluster-arn ClusterArn {... "BootstrapBrokerStringTls": "b-2.awskafkatutorialcluste.t79r6y.c4.kafka.us-west-2.amazonaws.com:9094,b-1.awskafkatutorialcluste.t79r6y.c4.kafka.us-west-2.amazonaws.com:9094,b-3.awskafkatutorialcluste.t79r6y.c4.kafka.us-west-2.amazonaws.com:9094" }
  • 按照本教程和必备教程中的步骤进行操作时,请务必在代码、命令和控制台条目中使用所选 Amazon 区域。

创建自定义信任库并将其应用于您的集群

在本节中,您将创建自定义证书颁发机构 (CA),用其生成自定义信任库,然后将其应用于您的 MSK 集群。

要创建和应用您的自定义信任库,请按照《Amazon Managed Streaming for Apache Kafka 开发者指南》中的客户端身份验证教程进行操作。

创建应用程序代码

在本节中,您下载并编译应用程序 JAR 文件。

此示例的 Java 应用程序代码可从中获得 GitHub。要下载应用程序代码,请执行以下操作:

  1. 如果尚未安装 Git 客户端,请安装它。有关更多信息,请参阅安装 Git

  2. 使用以下命令克隆远程存储库:

    git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git
  3. 应用程序代码位于 amazon-kinesis-data-analytics-java-examples/CustomKeystore 中。您可以检查代码以熟悉Managed Service for Apache Flink的代码结构。

  4. 使用命令行 Maven 工具或首选的开发环境以创建 JAR 文件。要使用命令行 Maven 工具编译 JAR 文件,请输入以下内容:

    mvn package -Dflink.version=1.15.3

    如果构建成功,则会创建以下文件:

    target/flink-app-1.0-SNAPSHOT.jar
    注意

    提供的源代码依赖于 Java 11 中的库。

上传 Apache Flink 直播 Java 代码

在本节中,您将应用程序代码上传到在入门指南 (DataStream API)教程中创建的 Amazon S3 存储桶。

注意

如果您从入门教程中删除了 Amazon S3 存储桶,请再次执行上传 Apache Flink 直播 Java 代码步骤。

  1. 在 Amazon S3 控制台中,选择 ka-app-code- <username>存储桶,然后选择上传

  2. 选择文件步骤中,选择添加文件。导航到您在上一步中创建的 flink-app-1.0-SNAPSHOT.jar 文件。

  3. 您无需更改该对象的任何设置,因此,请选择上传

您的应用程序代码现在存储在 Amazon S3 存储桶中,应用程序可以在其中访问代码。

创建应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Managed Service for Apache Flink 控制面板上,选择创建分析应用程序

  3. Managed Service for Apache Flink - 创建应用程序页面上,提供应用程序详细信息,如下所示:

    • 对于应用程序名称,输入 MyApplication

    • 对于运行时,请选择 Apache Flink 版本 1.15.2

  4. 对于访问权限,请选择创建/更新 IAM 角色kinesis-analytics-MyApplication-us-west-2

  5. 选择创建应用程序

注意

使用控制台创建Managed Service for Apache Flink时,您可以选择为您的应用程序创建一个 IAM 角色和策略。您的应用程序使用此角色和策略访问其从属资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

  • 策略:kinesis-analytics-service-MyApplication-us-west-2

  • 角色:kinesisanalytics-MyApplication-us-west-2

配置应用程序
  1. MyApplication页面上,选择配置

  2. 配置应用程序 页面上,提供 代码位置

    • 对于Amazon S3 存储桶,请输入ka-app-code-<username>

    • 在 Amazon S3 对象的路径中,输入flink-app-1.0-SNAPSHOT.jar

  3. 对应用程序的访问权限 下,对于 访问权限,选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

    注意

    在使用控制台指定应用程序资源(例如日志或 VPC)时,控制台修改应用程序执行角色以授权访问这些资源。

  4. Properties (属性) 下面,选择 Add Group (添加组)。输入以下属性:

    组 ID
    KafkaSource topic Amazon KafkaTutorialTopic
    KafkaSource bootstrap.servers 您以前保存的引导服务器列表
    KafkaSource security.protocol SSL
    KafkaSource ssl.truststore.location /usr/lib/jvm/java-11-amazon-corretto/lib/security/cacerts
    KafkaSource ssl.truststore.password changeit
    注意

    默认证书的 ssl.truststore.password 为“changeit”— 如果使用默认证书,则不需要更改该值。

    再次选择 Add Group (添加组)。输入以下属性:

    组 ID
    KafkaSink topic Amazon KafkaTutorialTopicDestination
    KafkaSink bootstrap.servers 您以前保存的引导服务器列表
    KafkaSink security.protocol SSL
    KafkaSink ssl.truststore.location /usr/lib/jvm/java-11-amazon-corretto/lib/security/cacerts
    KafkaSink ssl.truststore.password changeit
    KafkaSink transaction.timeout.ms 1000

    应用程序代码读取上述应用程序属性,以配置用于与 VPC 和 Amazon MSK 集群交互的源和接收器。有关使用属性的更多信息,请参阅运行时属性

  5. Snapshots (快照) 下面,选择 Disable (禁用)。这样,就可以轻松更新应用程序,而无需加载无效的应用程序状态数据。

  6. 监控 下,确保 监控指标级别 设置为 应用程序

  7. 要进行CloudWatch 日志记录,请选中 “启用” 复选框。

  8. Virtual Private Cloud (VPC) 部分中,选择要与应用程序关联的 VPC。选择与您的 VPC 关联的子网和安全组,您希望应用程序使用它们访问 VPC 资源。

  9. 选择更新

注意

当您选择启用 CloudWatch 日志记录时,适用于 Apache Flink 的托管服务会为您创建日志组和日志流。这些资源的名称如下所示:

  • 日志组:/aws/kinesis-analytics/MyApplication

  • 日志流:kinesis-analytics-log-stream

该日志流用于监控应用程序。

运行应用程序

可以通过运行应用程序、打开 Apache Flink 控制面板并选择所需的 Flink 任务来查看 Flink 任务图。

测试应用程序

在本节中,您将记录写入到源主题。应用程序从源主题中读取记录,并将其写入到目标主题中。您可以将记录写入到源主题以及从目标主题中读取记录,以验证应用程序是否正常工作。

要写入和读取主题中的记录,请按照 Amazon MSK 入门教程中的步骤 6:生成和使用数据中的步骤进行操作。

要从目标主题中读取,请在到集群的第二个连接中使用目标主题名称,而不是源主题:

bin/kafka-console-consumer.sh --bootstrap-server BootstrapBrokerString --consumer.config client.properties --topic Amazon KafkaTutorialTopicDestination --from-beginning

如果在目标主题中没有任何记录,请参阅故障排除主题中的无法访问 VPC 中的资源一节。

Python 示例

以下示例演示如何使用 Python 和 Apache Flink 表 API 创建应用程序。

示例:在 Python 中创建翻滚窗口

注意

有关当前示例,请参见示例

在本练习中,您将创建一个 Python Managed Service for Apache Flink 应用程序,该应用程序使用滚动窗口聚合数据。

注意

要为本练习设置所需的先决条件,请先完成入门 (Python)练习。

创建依赖资源

在本练习中,创建Managed Service for Apache Flink的应用程序之前,您需要创建以下从属资源:

  • 两个 Kinesis 数据流(ExampleInputStreamExampleOutputStream)。

  • 存储应用程序代码 (ka-app-code-<username>) 的 Amazon S3 存储桶

您可以使用控制台创建 Kinesis 流和 Amazon S3 存储桶。有关创建这些资源的说明,请参阅以下主题:

  • Amazon Kinesis Data Streams 开发人员指南中的创建和更新数据流。将数据流命名为 ExampleInputStreamExampleOutputStream

  • Amazon Simple Storage Service 用户指南中的如何创建 S3 存储桶?。附加您的登录名,以便为 Amazon S3 存储桶指定全局唯一的名称,例如 ka-app-code-<username>

将样本记录写入输入流

在本节中,您使用 Python 脚本将示例记录写入流,以供应用程序处理。

注意

此部分需要 Amazon SDK for Python (Boto)

注意

本节中的 Python 脚本使用 Amazon CLI。您必须将您的配置 Amazon CLI 为使用您的账户凭证和默认区域。要配置您的 Amazon CLI,请输入以下内容:

aws configure
  1. 使用以下内容创建名为 stock.py 的文件:

    import datetime import json import random import boto3 STREAM_NAME = "ExampleInputStream" def get_data(): return { 'event_time': datetime.datetime.now().isoformat(), 'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']), 'price': round(random.random() * 100, 2)} def generate(stream_name, kinesis_client): while True: data = get_data() print(data) kinesis_client.put_record( StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey") if __name__ == '__main__': generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))
  2. 运行 stock.py 脚本:

    $ python stock.py

    在完成本教程的其余部分时,请将脚本保持运行状态。

下载并检查应用程序代码

此示例的 Python 应用程序代码可从中获得 GitHub。要下载应用程序代码,请执行以下操作:

  1. 如果尚未安装 Git 客户端,请安装它。有关更多信息,请参阅安装 Git

  2. 使用以下命令克隆远程存储库:

    git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git
  3. 导航到 amazon-kinesis-data-analytics-java-examples/python/TumblingWindow 目录。

应用程序代码位于 tumbling-windows.py 文件中。请注意有关应用程序代码的以下信息:

  • 应用程序使用 Kinesis 表源从源流中进行读取。以下代码段调用该 create_table 函数来创建 Kinesis 表源:

    table_env.execute_sql( create_input_table(input_table_name, input_stream, input_region, stream_initpos) )

    create_table函数使用 SQL 命令创建由流式传输源支持的表:

    def create_input_table(table_name, stream_name, region, stream_initpos): return """ CREATE TABLE {0} ( ticker VARCHAR(6), price DOUBLE, event_time TIMESTAMP(3), WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND ) PARTITIONED BY (ticker) WITH ( 'connector' = 'kinesis', 'stream' = '{1}', 'aws.region' = '{2}', 'scan.stream.initpos' = '{3}', 'format' = 'json', 'json.timestamp-format.standard' = 'ISO-8601' ) """.format(table_name, stream_name, region, stream_initpos)
  • 应用程序使用 Tumble 运算符在指定的滚动窗口内聚合记录,并将聚合的记录作为表对象返回:

    tumbling_window_table = ( input_table.window( Tumble.over("10.seconds").on("event_time").alias("ten_second_window") ) .group_by("ticker, ten_second_window") .select("ticker, price.min as price, to_string(ten_second_window.end) as event_time")
  • 该应用程序使用来自 flink-sql-connector-kinesis-1.15.2.jar 的 Kinesis Flink 连接器。

压缩并上传 Apache Flink 流式传输 Python 代码

在本节中,您将应用程序代码上传到在创建依赖资源一节中创建的 Amazon S3 存储桶。

  1. 使用您首选的压缩应用程序来压缩 tumbling-windows.pyflink-sql-connector-kinesis-1.15.2.jar 文件。为存档myapp.zip命名。

  2. 在 Amazon S3 控制台中,选择 ka-app-code- <username>存储桶,然后选择上传

  3. 选择文件步骤中,选择添加文件。导航到您在上一步中创建的 myapp.zip 文件。

  4. 您无需更改该对象的任何设置,因此,请选择上传

您的应用程序代码现在存储在 Amazon S3 存储桶中,应用程序可以在其中访问代码。

创建并运行适用于 Apache 的托管服务 Flink 应用程序

按照以下步骤,使用控制台创建、配置、更新和运行应用程序。

创建应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Managed Service for Apache Flink 控制面板上,选择创建分析应用程序

  3. Managed Service for Apache Flink - 创建应用程序页面上,提供应用程序详细信息,如下所示:

    • 对于 应用程序名称 ,输入 MyApplication

    • 对于 运行时,请选择 Apache Flink

      注意

      Managed Service for Apache Flink 使用 Apache Flink 版本 1.15.2。

    • 将版本下拉列表保留为 Apache Flink 版本 1.15.2(建议的版本)

  4. 对于访问权限,请选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  5. 选择创建应用程序

注意

在使用控制台创建应用程序的 Managed Service for Apache Flink时,您可以选择为应用程序创建 IAM 角色和策略。您的应用程序使用此角色和策略访问其从属资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

  • 策略:kinesis-analytics-service-MyApplication-us-west-2

  • 角色:kinesisanalytics-MyApplication-us-west-2

配置应用程序
  1. MyApplication页面上,选择配置

  2. 配置应用程序 页面上,提供 代码位置

    • 对于Amazon S3 存储桶,请输入ka-app-code-<username>

    • 在 Amazon S3 对象的路径中,输入myapp.zip

  3. 对应用程序的访问权限 下,对于 访问权限,选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  4. 属性下面,选择添加组

  5. 输入以下信息:

    组 ID
    consumer.config.0 input.stream.name ExampleInputStream
    consumer.config.0 aws.region us-west-2
    consumer.config.0 scan.stream.initpos LATEST

    选择保存

  6. 属性下面,再次选择添加组

  7. 输入以下信息:

    组 ID
    producer.config.0 output.stream.name ExampleOutputStream
    producer.config.0 aws.region us-west-2
    producer.config.0 shard.count 1
  8. 属性下面,再次选择添加组。对于 组 ID,输入 kinesis.analytics.flink.run.options。这个特殊的属性组告诉你的应用程序在哪里可以找到它的代码资源。有关更多信息,请参阅 指定您的代码文件

  9. 输入以下信息:

    组 ID
    kinesis.analytics.flink.run.options python tumbling-windows.py
    kinesis.analytics.flink.run.options jarfile flink-sql-connector-kinesis-1.15.2.jar
  10. 监控 下,确保 监控指标级别 设置为 应用程序

  11. 要进行CloudWatch 日志记录,请选中 “启用” 复选框。

  12. 选择更新

注意

当您选择启用 CloudWatch 日志记录时,适用于 Apache Flink 的托管服务会为您创建日志组和日志流。这些资源的名称如下所示:

  • 日志组:/aws/kinesis-analytics/MyApplication

  • 日志流:kinesis-analytics-log-stream

该日志流用于监控应用程序。这与应用程序用于发送结果的日志流不同。

编辑 IAM 政策

编辑 IAM policy 以添加访问 Kinesis 数据流的权限。

  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 选择策略。选择控制台在上一部分中为您创建的 kinesis-analytics-service-MyApplication-us-west-2 策略。

  3. 摘要 页面上,选择 编辑策略。选择 JSON 选项卡。

  4. 将以下策略示例中突出显示的部分添加到策略中。将示例账户 ID (012345678901) 替换为您的账户 ID。

    { "Version": "2012-10-17", "Statement": [ { "Sid": "ReadCode", "Effect": "Allow", "Action": [ "s3:GetObject", "logs:DescribeLogGroups", "s3:GetObjectVersion" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*", "arn:aws:s3:::ka-app-code-<username>/myapp.zip" ] }, { "Sid": "DescribeLogStreams", "Effect": "Allow", "Action": "logs:DescribeLogStreams", "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*" }, { "Sid": "PutLogEvents", "Effect": "Allow", "Action": "logs:PutLogEvents", "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream" }, { "Sid": "ListCloudwatchLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteOutputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream" } ] }
运行应用程序

可以通过运行应用程序、打开 Apache Flink 控制面板并选择所需的 Flink 任务来查看 Flink 任务图。

您可以在 CloudWatch 控制台上查看托管服务的 Apache Flink 指标,以验证应用程序是否正常运行。

清理 Amazon 资源

本节包括清理在 Tumbling Window 教程中创建的 Amazon 资源的过程。

删除你的 Apache 托管服务 Flink 应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Apache Flink 的托管服务面板中,选择。MyApplication

  3. 在应用程序的页面中,选择 删除,然后确认删除。

删除你的 Kinesis 数据流
  1. 打开 Kinesis 控制台,网址为:https://console.aws.amazon.com/kinesis

  2. 在 Kinesis Data Streams 面板中,ExampleInputStream选择。

  3. 在该ExampleInputStream页面中,选择 “删除 Kinesis Stream”,然后确认删除。

  4. Kinesis 直播页面中 ExampleOutputStream,选择,选择操作,选择删除,然后确认删除。

删除您的 Amazon S3 对象和存储桶
  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择 ka-app-code- 存储桶。 <username>

  3. 选择 删除,然后输入存储桶名称以确认删除。

删除您的 IAM 资源
  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航栏中,选择策略

  3. 在筛选条件控件中,输入 kinesis

  4. 选择 kinesis-analytics-service--us-MyApplication west-2 策略

  5. 选择 策略操作,然后选择 删除

  6. 在导航栏中,选择 角色

  7. 选择 k inesis-analytics-us-west-2 角色MyApplication

  8. 选择 删除角色,然后确认删除。

删除您的 CloudWatch 资源
  1. 打开 CloudWatch 控制台,网址为 https://console.aws.amazon.com/cloudwatch/

  2. 在导航栏中,选择 日志

  3. 选择 /aws/kinesis-analytics/ 日志组MyApplication

  4. 选择 删除日志组,然后确认删除。

示例:在 Python 中创建滑动窗口

注意

有关当前示例,请参见示例

注意

要为本练习设置所需的先决条件,请先完成入门 (Python)练习。

创建依赖资源

在本练习中,创建Managed Service for Apache Flink的应用程序之前,您需要创建以下从属资源:

  • 两个 Kinesis 数据流(ExampleInputStreamExampleOutputStream)。

  • 存储应用程序代码 (ka-app-code-<username>) 的 Amazon S3 存储桶

您可以使用控制台创建 Kinesis 流和 Amazon S3 存储桶。有关创建这些资源的说明,请参阅以下主题:

  • Amazon Kinesis Data Streams 开发人员指南中的创建和更新数据流。将数据流命名为 ExampleInputStreamExampleOutputStream

  • Amazon Simple Storage Service 用户指南中的如何创建 S3 存储桶?。附加您的登录名,以便为 Amazon S3 存储桶指定全局唯一的名称,例如 ka-app-code-<username>

将样本记录写入输入流

在本节中,您使用 Python 脚本将示例记录写入流,以供应用程序处理。

注意

此部分需要 Amazon SDK for Python (Boto)

注意

本节中的 Python 脚本使用 Amazon CLI。您必须将您的配置 Amazon CLI 为使用您的账户凭证和默认区域。要配置您的 Amazon CLI,请输入以下内容:

aws configure
  1. 使用以下内容创建名为 stock.py 的文件:

    import datetime import json import random import boto3 STREAM_NAME = "ExampleInputStream" def get_data(): return { 'event_time': datetime.datetime.now().isoformat(), 'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']), 'price': round(random.random() * 100, 2)} def generate(stream_name, kinesis_client): while True: data = get_data() print(data) kinesis_client.put_record( StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey") if __name__ == '__main__': generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))
  2. 运行 stock.py 脚本:

    $ python stock.py

    在完成本教程的其余部分时,请将脚本保持运行状态。

下载并检查应用程序代码

此示例的 Python 应用程序代码可从中获得 GitHub。要下载应用程序代码,请执行以下操作:

  1. 如果尚未安装 Git 客户端,请安装它。有关更多信息,请参阅安装 Git

  2. 使用以下命令克隆远程存储库:

    git clone https://github.com/aws-samples/>amazon-kinesis-data-analytics-java-examples
  3. 导航到 amazon-kinesis-data-analytics-java-examples/python/SlidingWindow 目录。

应用程序代码位于 sliding-windows.py 文件中。请注意有关应用程序代码的以下信息:

  • 应用程序使用 Kinesis 表源从源流中进行读取。以下代码段调用该 create_input_table 函数来创建 Kinesis 表源:

    table_env.execute_sql( create_input_table(input_table_name, input_stream, input_region, stream_initpos) )

    create_input_table函数使用 SQL 命令创建由流式传输源支持的表:

    def create_input_table(table_name, stream_name, region, stream_initpos): return """ CREATE TABLE {0} ( ticker VARCHAR(6), price DOUBLE, event_time TIMESTAMP(3), WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND ) PARTITIONED BY (ticker) WITH ( 'connector' = 'kinesis', 'stream' = '{1}', 'aws.region' = '{2}', 'scan.stream.initpos' = '{3}', 'format' = 'json', 'json.timestamp-format.standard' = 'ISO-8601' ) """.format(table_name, stream_name, region, stream_initpos) }
  • 应用程序使用 Slide 运算符在指定的滑动窗口中聚合记录,并将聚合的记录作为表对象返回:

    sliding_window_table = ( input_table .window( Slide.over("10.seconds") .every("5.seconds") .on("event_time") .alias("ten_second_window") ) .group_by("ticker, ten_second_window") .select("ticker, price.min as price, to_string(ten_second_window.end) as event_time") )
  • 该应用程序使用-1.15.2.jar 文件中的 Kinesis Flink 连接器。flink-sql-connector-kinesis

压缩并上传 Apache Flink 流式传输 Python 代码

在本节中,您将应用程序代码上传到在创建依赖资源一节中创建的 Amazon S3 存储桶。

本节介绍如何打包 Python 应用程序。

  1. 使用您首选的压缩应用程序来压缩 sliding-windows.pyflink-sql-connector-kinesis-1.15.2.jar 文件。为存档myapp.zip命名。

  2. 在 Amazon S3 控制台中,选择 ka-app-code- <username>存储桶,然后选择上传

  3. 选择文件步骤中,选择添加文件。导航到您在上一步中创建的 myapp.zip 文件。

  4. 您无需更改该对象的任何设置,因此,请选择上传

您的应用程序代码现在存储在 Amazon S3 存储桶中,应用程序可以在其中访问代码。

创建并运行适用于 Apache 的托管服务 Flink 应用程序

按照以下步骤,使用控制台创建、配置、更新和运行应用程序。

创建应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Managed Service for Apache Flink 控制面板上,选择创建分析应用程序

  3. Managed Service for Apache Flink - 创建应用程序页面上,提供应用程序详细信息,如下所示:

    • 对于 应用程序名称 ,输入 MyApplication

    • 对于 运行时,请选择 Apache Flink

      注意

      Managed Service for Apache Flink 使用 Apache Flink 版本 1.15.2。

    • 将版本下拉列表保留为 Apache Flink 版本 1.15.2(建议的版本)

  4. 对于访问权限,请选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  5. 选择创建应用程序

注意

在使用控制台创建应用程序的 Managed Service for Apache Flink时,您可以选择为应用程序创建 IAM 角色和策略。您的应用程序使用此角色和策略访问其从属资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

  • 策略:kinesis-analytics-service-MyApplication-us-west-2

  • 角色:kinesisanalytics-MyApplication-us-west-2

配置应用程序
  1. MyApplication页面上,选择配置

  2. 配置应用程序 页面上,提供 代码位置

    • 对于Amazon S3 存储桶,请输入ka-app-code-<username>

    • 在 Amazon S3 对象的路径中,输入myapp.zip

  3. 对应用程序的访问权限 下,对于 访问权限,选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  4. 属性下面,选择添加组

  5. 输入以下应用程序属性和值:

    组 ID
    consumer.config.0 input.stream.name ExampleInputStream
    consumer.config.0 aws.region us-west-2
    consumer.config.0 scan.stream.initpos LATEST

    选择保存

  6. 属性下面,再次选择添加组

  7. 输入以下应用程序属性和值:

    组 ID
    producer.config.0 output.stream.name ExampleOutputStream
    producer.config.0 aws.region us-west-2
    producer.config.0 shard.count 1
  8. 属性下面,再次选择添加组。对于 组 ID,输入 kinesis.analytics.flink.run.options。这个特殊的属性组告诉你的应用程序在哪里可以找到它的代码资源。有关更多信息,请参阅 指定您的代码文件

  9. 输入以下应用程序属性和值:

    组 ID
    kinesis.analytics.flink.run.options python sliding-windows.py
    kinesis.analytics.flink.run.options jarfile flink-sql-connector-kinesis_1.15.2.jar
  10. 监控 下,确保 监控指标级别 设置为 应用程序

  11. 要进行CloudWatch 日志记录,请选中 “启用” 复选框。

  12. 选择更新

注意

当您选择启用 CloudWatch 日志记录时,适用于 Apache Flink 的托管服务会为您创建日志组和日志流。这些资源的名称如下所示:

  • 日志组:/aws/kinesis-analytics/MyApplication

  • 日志流:kinesis-analytics-log-stream

该日志流用于监控应用程序。这与应用程序用于发送结果的日志流不同。

编辑 IAM 政策

编辑 IAM policy 以添加访问 Kinesis 数据流的权限。

  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 选择策略。选择控制台在上一部分中为您创建的 kinesis-analytics-service-MyApplication-us-west-2 策略。

  3. 摘要 页面上,选择 编辑策略。选择 JSON 选项卡。

  4. 将以下策略示例中突出显示的部分添加到策略中。将示例账户 ID (012345678901) 替换为您的账户 ID。

    { "Version": "2012-10-17", "Statement": [ { "Sid": "ReadCode", "Effect": "Allow", "Action": [ "s3:GetObject", "logs:DescribeLogGroups", "s3:GetObjectVersion" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*", "arn:aws:s3:::ka-app-code-<username>/myapp.zip" ] }, { "Sid": "DescribeLogStreams", "Effect": "Allow", "Action": "logs:DescribeLogStreams", "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*" }, { "Sid": "PutLogEvents", "Effect": "Allow", "Action": "logs:PutLogEvents", "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream" }, { "Sid": "ListCloudwatchLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteOutputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream" } ] }
运行应用程序

可以通过运行应用程序、打开 Apache Flink 控制面板并选择所需的 Flink 任务来查看 Flink 任务图。

您可以在 CloudWatch 控制台上查看托管服务的 Apache Flink 指标,以验证应用程序是否正常运行。

清理 Amazon 资源

本节包括清理滑动窗口教程中创建的 Amazon 资源的过程。

删除你的 Apache 托管服务 Flink 应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Apache Flink 的托管服务面板中,选择。MyApplication

  3. 在应用程序的页面中,选择 删除,然后确认删除。

删除你的 Kinesis 数据流
  1. 打开 Kinesis 控制台,网址为:https://console.aws.amazon.com/kinesis

  2. 在 Kinesis Data Streams 面板中,ExampleInputStream选择。

  3. 在该ExampleInputStream页面中,选择 “删除 Kinesis Stream”,然后确认删除。

  4. Kinesis 直播页面中 ExampleOutputStream,选择,选择操作,选择删除,然后确认删除。

删除您的 Amazon S3 对象和存储桶
  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择 ka-app-code- 存储桶。 <username>

  3. 选择 删除,然后输入存储桶名称以确认删除。

删除您的 IAM 资源
  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航栏中,选择策略

  3. 在筛选条件控件中,输入 kinesis

  4. 选择 kinesis-analytics-service--us-MyApplication west-2 策略

  5. 选择 策略操作,然后选择 删除

  6. 在导航栏中,选择 角色

  7. 选择 k inesis-analytics-us-west-2 角色MyApplication

  8. 选择 删除角色,然后确认删除。

删除您的 CloudWatch 资源
  1. 打开 CloudWatch 控制台,网址为 https://console.aws.amazon.com/cloudwatch/

  2. 在导航栏中,选择 日志

  3. 选择 /aws/kinesis-analytics/ 日志组MyApplication

  4. 选择 删除日志组,然后确认删除。

示例:使用 Python 将流数据发送到亚马逊 S3

注意

有关当前示例,请参见示例

在本练习中,您将创建一个 Python Managed Service for Apache Flink 应用程序,该应用程序将数据流式传输到 Amazon Simple Storage Service 接收器。

注意

要为本练习设置所需的先决条件,请先完成入门 (Python)练习。

创建依赖资源

在本练习中,创建Managed Service for Apache Flink的应用程序之前,您需要创建以下从属资源:

  • Kinesis 数据流 (ExampleInputStream)

  • 存储应用程序代码和输出的 Amazon S3 存储桶 (ka-app-code-<username>)

注意

在 Managed Service for Apache Flink 上启用服务器端加密的情况下,Managed Service for Apache Flink 无法将数据写入 Amazon S3。

您可以使用控制台创建 Kinesis 流和 Amazon S3 存储桶。有关创建这些资源的说明,请参阅以下主题:

  • Amazon Kinesis Data Streams 开发人员指南中的创建和更新数据流。将数据流命名为 ExampleInputStream

  • Amazon Simple Storage Service 用户指南中的如何创建 S3 存储桶?。附加您的登录名,以便为 Amazon S3 存储桶指定全局唯一的名称,例如 ka-app-code-<username>

将样本记录写入输入流

在本节中,您使用 Python 脚本将示例记录写入流,以供应用程序处理。

注意

此部分需要 Amazon SDK for Python (Boto)

注意

本节中的 Python 脚本使用 Amazon CLI。您必须将您的配置 Amazon CLI 为使用您的账户凭证和默认区域。要配置您的 Amazon CLI,请输入以下内容:

aws configure
  1. 使用以下内容创建名为 stock.py 的文件:

    import datetime import json import random import boto3 STREAM_NAME = "ExampleInputStream" def get_data(): return { 'event_time': datetime.datetime.now().isoformat(), 'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']), 'price': round(random.random() * 100, 2)} def generate(stream_name, kinesis_client): while True: data = get_data() print(data) kinesis_client.put_record( StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey") if __name__ == '__main__': generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))
  2. 运行 stock.py 脚本:

    $ python stock.py

    在完成本教程的其余部分时,请将脚本保持运行状态。

下载并检查应用程序代码

此示例的 Python 应用程序代码可从中获得 GitHub。要下载应用程序代码,请执行以下操作:

  1. 如果尚未安装 Git 客户端,请安装它。有关更多信息,请参阅安装 Git

  2. 使用以下命令克隆远程存储库:

    git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git
  3. 导航到 amazon-kinesis-data-analytics-java-examples/python/S3Sink 目录。

应用程序代码位于 streaming-file-sink.py 文件中。请注意有关应用程序代码的以下信息:

  • 应用程序使用 Kinesis 表源从源流中进行读取。以下代码段调用该 create_source_table 函数来创建 Kinesis 表源:

    table_env.execute_sql( create_source_table(input_table_name, input_stream, input_region, stream_initpos) )

    create_source_table函数使用 SQL 命令创建由流式传输源支持的表:

    import datetime import json import random import boto3 STREAM_NAME = "ExampleInputStream" def get_data(): return { 'event_time': datetime.datetime.now().isoformat(), 'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']), 'price': round(random.random() * 100, 2)} def generate(stream_name, kinesis_client): while True: data = get_data() print(data) kinesis_client.put_record( StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey") if __name__ == '__main__': generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))
  • 应用程序使用 filesystem 连接器将记录发送到 Amazon S3 存储桶:

    def create_sink_table(table_name, bucket_name): return """ CREATE TABLE {0} ( ticker VARCHAR(6), price DOUBLE, event_time VARCHAR(64) ) PARTITIONED BY (ticker) WITH ( 'connector'='filesystem', 'path'='s3a://{1}/', 'format'='json', 'sink.partition-commit.policy.kind'='success-file', 'sink.partition-commit.delay' = '1 min' ) """.format(table_name, bucket_name)
  • 该应用程序使用-1.15.2.jar 文件中的 Kinesis Flink 连接器。flink-sql-connector-kinesis

压缩并上传 Apache Flink 流式传输 Python 代码

在本节中,您将应用程序代码上传到在创建依赖资源一节中创建的 Amazon S3 存储桶。

  1. 使用您首选的压缩应用程序来压缩streaming-file-sink.pyflink-sql-connector-kinesis-1.15.2.jar 文件。为存档myapp.zip命名。

  2. 在 Amazon S3 控制台中,选择 ka-app-code- <username>存储桶,然后选择上传

  3. 选择文件步骤中,选择添加文件。导航到您在上一步中创建的 myapp.zip 文件。

  4. 您无需更改该对象的任何设置,因此,请选择上传

您的应用程序代码现在存储在 Amazon S3 存储桶中,应用程序可以在其中访问代码。

创建并运行适用于 Apache 的托管服务 Flink 应用程序

按照以下步骤,使用控制台创建、配置、更新和运行应用程序。

创建应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Managed Service for Apache Flink 控制面板上,选择创建分析应用程序

  3. Managed Service for Apache Flink - 创建应用程序页面上,提供应用程序详细信息,如下所示:

    • 对于 应用程序名称 ,输入 MyApplication

    • 对于 运行时,请选择 Apache Flink

      注意

      Managed Service for Apache Flink 使用 Apache Flink 版本 1.15.2。

    • 将版本下拉列表保留为 Apache Flink 版本 1.15.2(建议的版本)

  4. 对于访问权限,请选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  5. 选择创建应用程序

注意

在使用控制台创建应用程序的 Managed Service for Apache Flink时,您可以选择为应用程序创建 IAM 角色和策略。您的应用程序使用此角色和策略访问其从属资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

  • 策略:kinesis-analytics-service-MyApplication-us-west-2

  • 角色:kinesisanalytics-MyApplication-us-west-2

配置应用程序
  1. MyApplication页面上,选择配置

  2. 配置应用程序 页面上,提供 代码位置

    • 对于Amazon S3 存储桶,请输入ka-app-code-<username>

    • 在 Amazon S3 对象的路径中,输入myapp.zip

  3. 对应用程序的访问权限 下,对于 访问权限,选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  4. 属性下面,选择添加组

  5. 输入以下应用程序属性和值:

    组 ID
    consumer.config.0 input.stream.name ExampleInputStream
    consumer.config.0 aws.region us-west-2
    consumer.config.0 scan.stream.initpos LATEST

    选择保存

  6. 属性下面,再次选择添加组。对于 组 ID,输入 kinesis.analytics.flink.run.options。这个特殊的属性组告诉你的应用程序在哪里可以找到它的代码资源。有关更多信息,请参阅 指定您的代码文件

  7. 输入以下应用程序属性和值:

    组 ID
    kinesis.analytics.flink.run.options python streaming-file-sink.py
    kinesis.analytics.flink.run.options jarfile S3Sink/lib/flink-sql-connector-kinesis-1.15.2.jar
  8. 属性下面,再次选择添加组。对于 组 ID,输入 sink.config.0。这个特殊的属性组告诉你的应用程序在哪里可以找到它的代码资源。有关更多信息,请参阅 指定您的代码文件

  9. 输入以下应用程序属性和值:(将存储桶名称替换为您的 Amazon S3 存储桶的实际名称。)

    组 ID
    sink.config.0 output.bucket.name bucket-name
  10. 监控 下,确保 监控指标级别 设置为 应用程序

  11. 要进行CloudWatch 日志记录,请选中 “启用” 复选框。

  12. 选择更新

注意

当您选择启用 CloudWatch 日志记录时,适用于 Apache Flink 的托管服务会为您创建日志组和日志流。这些资源的名称如下所示:

  • 日志组:/aws/kinesis-analytics/MyApplication

  • 日志流:kinesis-analytics-log-stream

该日志流用于监控应用程序。这与应用程序用于发送结果的日志流不同。

编辑 IAM 政策

编辑 IAM policy 以添加访问 Kinesis 数据流的权限。

  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 选择策略。选择控制台在上一部分中为您创建的 kinesis-analytics-service-MyApplication-us-west-2 策略。

  3. 摘要 页面上,选择 编辑策略。选择 JSON 选项卡。

  4. 将以下策略示例中突出显示的部分添加到策略中。将示例账户 ID (012345678901) 替换为您的账户 ID。

    { "Version": "2012-10-17", "Statement": [ { "Sid": "ReadCode", "Effect": "Allow", "Action": [ "s3:GetObject", "logs:DescribeLogGroups", "s3:GetObjectVersion" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*", "arn:aws:s3:::ka-app-code-<username>/myapp.zip" ] }, { "Sid": "DescribeLogStreams", "Effect": "Allow", "Action": "logs:DescribeLogStreams", "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*" }, { "Sid": "PutLogEvents", "Effect": "Allow", "Action": "logs:PutLogEvents", "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream" }, { "Sid": "ListCloudwatchLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteObjects", "Effect": "Allow", "Action": [ "s3:Abort*", "s3:DeleteObject*", "s3:GetObject*", "s3:GetBucket*", "s3:List*", "s3:ListBucket", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::ka-app-code-<username>", "arn:aws:s3:::ka-app-code-<username>/*" ] } ] }
运行应用程序

可以通过运行应用程序、打开 Apache Flink 控制面板并选择所需的 Flink 任务来查看 Flink 任务图。

您可以在 CloudWatch 控制台上查看托管服务的 Apache Flink 指标,以验证应用程序是否正常运行。

清理 Amazon 资源

本节包括清理滑动窗口教程中创建的 Amazon 资源的过程。

删除你的 Apache 托管服务 Flink 应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Apache Flink 的托管服务面板中,选择。MyApplication

  3. 在应用程序的页面中,选择 删除,然后确认删除。

删除你的 Kinesis 数据流
  1. 打开 Kinesis 控制台,网址为:https://console.aws.amazon.com/kinesis

  2. 在 Kinesis Data Streams 面板中,ExampleInputStream选择。

  3. 在该ExampleInputStream页面中,选择 “删除 Kinesis Stream”,然后确认删除。

删除您的 Amazon S3 对象和存储桶
  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择 ka-app-code- 存储桶。 <username>

  3. 选择 删除,然后输入存储桶名称以确认删除。

删除您的 IAM 资源
  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航栏中,选择策略

  3. 在筛选条件控件中,输入 kinesis

  4. 选择 kinesis-analytics-service--us-MyApplication west-2 策略

  5. 选择 策略操作,然后选择 删除

  6. 在导航栏中,选择 角色

  7. 选择 k inesis-analytics-us-west-2 角色MyApplication

  8. 选择 删除角色,然后确认删除。

删除您的 CloudWatch 资源
  1. 打开 CloudWatch 控制台,网址为 https://console.aws.amazon.com/cloudwatch/

  2. 在导航栏中,选择 日志

  3. 选择 /aws/kinesis-analytics/ 日志组MyApplication

  4. 选择 删除日志组,然后确认删除。

Scala 示例

以下示例演示如何使用 Scala 和 Apache Flink 创建应用程序。

示例:在 Scala 中创建翻滚窗口

注意

有关当前示例,请参见示例

注意

从 Flink 1.15 版本开始,Scala 免费。应用程序现在可以使用任何 Scala 版本的 Java API。Flink 仍然在内部的一些关键组件中使用 Scala,但没有将 Scala 暴露到用户代码类加载器中。因此,用户需要将 Scala 从属项添加到其 jar 存档中。

有关 Flink 1.15 中 Scala 变更的更多信息,请参阅 1.15 Scala 免费

在本练习中,您将创建一个使用 Scala 3.2.0 和 Flink 的 Java API 的简单流媒体应用程序。 DataStream 该应用程序从 Kinesis 流中读取数据,使用滑动窗口对其进行聚合,并将结果写入输出 Kinesis 流。

注意

要为本练习设置所需的先决条件,请先完成入门 (Scala) 练习。

下载并检查应用程序代码

此示例的 Python 应用程序代码可从中获得 GitHub。要下载应用程序代码,请执行以下操作:

  1. 如果尚未安装 Git 客户端,请安装它。有关更多信息,请参阅安装 Git

  2. 使用以下命令克隆远程存储库:

    git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git
  3. 导航到 amazon-kinesis-data-analytics-java-examples/scala/TumblingWindow 目录。

请注意有关应用程序代码的以下信息:

  • build.sbt 文件包含有关应用程序的配置和从属项的信息,包括Managed Service for Apache Flink的库。

  • BasicStreamingJob.scala 文件包含定义应用程序功能的主要方法。

  • 应用程序使用 Kinesis 源从源流中进行读取。以下代码段创建 Kinesis 源:

    private def createSource: FlinkKinesisConsumer[String] = { val applicationProperties = KinesisAnalyticsRuntime.getApplicationProperties val inputProperties = applicationProperties.get("ConsumerConfigProperties") new FlinkKinesisConsumer[String](inputProperties.getProperty(streamNameKey, defaultInputStreamName), new SimpleStringSchema, inputProperties) }

    该应用程序还使用 Kinesis 接收器写入结果流。以下代码段创建 Kinesis 接收器:

    private def createSink: KinesisStreamsSink[String] = { val applicationProperties = KinesisAnalyticsRuntime.getApplicationProperties val outputProperties = applicationProperties.get("ProducerConfigProperties") KinesisStreamsSink.builder[String] .setKinesisClientProperties(outputProperties) .setSerializationSchema(new SimpleStringSchema) .setStreamName(outputProperties.getProperty(streamNameKey, defaultOutputStreamName)) .setPartitionKeyGenerator((element: String) => String.valueOf(element.hashCode)) .build }
  • 应用程序使用窗口操作符在 5 秒的滚动窗口中查找每个股票代号的值计数。以下代码创建操作符,并将聚合的数据发送到新的 Kinesis Data Streams 接收器:

    environment.addSource(createSource) .map { value => val jsonNode = jsonParser.readValue(value, classOf[JsonNode]) new Tuple2[String, Int](jsonNode.get("ticker").toString, 1) } .returns(Types.TUPLE(Types.STRING, Types.INT)) .keyBy(v => v.f0) // Logically partition the stream for each ticker .window(TumblingProcessingTimeWindows.of(Time.seconds(10))) .sum(1) // Sum the number of tickers per partition .map { value => value.f0 + "," + value.f1.toString + "\n" } .sinkTo(createSink)
  • 应用程序创建源连接器和接收器连接器,以使用 StreamExecutionEnvironment 对象访问外部资源。

  • 该应用程序将使用动态应用程序属性创建源和接收连接器。读取应用程序的运行时系统属性来配置连接器。有关运行时系统属性的更多信息,请参阅运行时系统属性

编译并上传应用程序代码

在本节中,您将编译应用程序代码并将其上传到 Amazon S3 存储桶。

编译应用程序代码

使用 SBT 构建工具为应用程序构建 Scala 代码。要安装 SBT,请参阅使用 cs 安装程序安装 sbt。您还需要安装 Java 开发工具包 (JDK)。参阅完成练习的先决条件

  1. 要使用您的应用程序代码,您将其编译和打包成 JAR 文件。您可以用 SBT 编译和打包代码:

    sbt assembly
  2. 如果应用程序成功编译,则创建以下文件:

    target/scala-3.2.0/tumbling-window-scala-1.0.jar
上传 Apache Flink 流式处理 Scala 代码

在本节中,创建 Amazon S3 存储桶并上传应用程序代码。

  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择创建存储桶

  3. 存储桶名称 字段中输入 ka-app-code-<username>。将后缀(如您的用户名)添加到存储桶名称,以使其具有全局唯一性。选择 下一步

  4. 配置选项中,让设置保持原样,然后选择下一步

  5. 设置权限中,让设置保持原样,然后选择下一步

  6. 选择创建存储桶

  7. 选择 ka-app-code-<username> 存储桶,然后选择上传

  8. 选择文件步骤中,选择添加文件。导航到您在上一步中创建的 tumbling-window-scala-1.0.jar 文件。

  9. 您无需更改该对象的任何设置,因此,请选择上传

您的应用程序代码现在存储在 Amazon S3 存储桶中,应用程序可以在其中访问代码。

创建并运行应用程序(控制台)

按照以下步骤,使用控制台创建、配置、更新和运行应用程序。

创建应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Managed Service for Apache Flink 控制面板上,选择创建分析应用程序

  3. Managed Service for Apache Flink - 创建应用程序页面上,提供应用程序详细信息,如下所示:

    • 对于 应用程序名称 ,输入 MyApplication

    • 对于描述,输入 My Scala test app

    • 对于 运行时,请选择 Apache Flink

    • 将版本保留为 Apache Flink 版本 1.15.2(建议的版本)

  4. 对于访问权限,请选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  5. 选择创建应用程序

注意

在使用控制台创建应用程序的 Managed Service for Apache Flink时,您可以选择为应用程序创建 IAM 角色和策略。您的应用程序使用此角色和策略访问其从属资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

  • 策略:kinesis-analytics-service-MyApplication-us-west-2

  • 角色:kinesisanalytics-MyApplication-us-west-2

配置应用程序

请使用以下过程来配置应用程序。

配置应用程序
  1. MyApplication页面上,选择配置

  2. 配置应用程序 页面上,提供 代码位置

    • 对于Amazon S3 存储桶,请输入ka-app-code-<username>

    • 在 Amazon S3 对象的路径中,输入tumbling-window-scala-1.0.jar

  3. 对应用程序的访问权限 下,对于 访问权限,选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  4. 属性下面,选择添加组

  5. 输入以下信息:

    组 ID
    ConsumerConfigProperties input.stream.name ExampleInputStream
    ConsumerConfigProperties aws.region us-west-2
    ConsumerConfigProperties flink.stream.initpos LATEST

    选择保存

  6. 属性下面,再次选择添加组

  7. 输入以下信息:

    组 ID
    ProducerConfigProperties output.stream.name ExampleOutputStream
    ProducerConfigProperties aws.region us-west-2
  8. 监控 下,确保 监控指标级别 设置为 应用程序

  9. 要进行CloudWatch 日志记录,请选中 “启用” 复选框。

  10. 选择更新

注意

当您选择启用 Amazon CloudWatch 日志时,适用于 Apache Flink 的托管服务会为您创建一个日志组和日志流。这些资源的名称如下所示:

  • 日志组:/aws/kinesis-analytics/MyApplication

  • 日志流:kinesis-analytics-log-stream

编辑 IAM 政策

编辑 IAM policy 以添加访问 Amazon S3 数据流的权限。

编辑 IAM policy 以添加 S3 存储桶权限
  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 选择策略。选择控制台在上一部分中为您创建的 kinesis-analytics-service-MyApplication-us-west-2 策略。

  3. 摘要 页面上,选择 编辑策略。选择 JSON 选项卡。

  4. 将以下策略示例中突出显示的部分添加到策略中。将示例账户 ID (012345678901) 替换为您的账户 ID。

    { "Version": "2012-10-17", "Statement": [ { "Sid": "ReadCode", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": [ "arn:aws:s3:::ka-app-code-username/tumbling-window-scala-1.0.jar" ] }, { "Sid": "DescribeLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*" ] }, { "Sid": "DescribeLogStreams", "Effect": "Allow", "Action": [ "logs:DescribeLogStreams" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*" ] }, { "Sid": "PutLogEvents", "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteOutputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream" } ] }
运行应用程序

可以通过运行应用程序、打开 Apache Flink 控制面板并选择所需的 Flink 任务来查看 Flink 任务图。

停止应用程序

要停止应用程序,请在MyApplication页面上选择停止。确认该操作。

创建并运行应用程序 (CLI)

在本节中,您将使用创建和运行适用 Amazon Command Line Interface 于 Apache Flink 的托管服务应用程序。使用 k inesisanalyticsv2 Amazon CLI 命令为 Apache Flink 应用程序创建托管服务并与之交互。

创建权限策略
注意

您必须为应用程序创建一个权限策略和角色。如果未创建这些 IAM 资源,应用程序将无法访问其数据和日志流。

首先,使用两个语句创建权限策略:一个语句授予对源流执行读取操作的权限,另一个语句授予对接收器流执行写入操作的权限。然后,将策略附加到 IAM 角色(下一部分中将创建此角色)。因此,在 Managed Service for Apache Flink代入该角色时,服务具有必要的权限从源流进行读取和写入接收器流。

使用以下代码创建 AKReadSourceStreamWriteSinkStream 权限策略。将 username 替换为您用于创建 Amazon S3 存储桶来存储应用程序代码的用户名。将 Amazon 资源名称 (ARN) 中的账户 ID (012345678901) 替换为您的账户 ID。MF-stream-rw-role服务执行角色应根据客户的特定角色量身定制。

{ "ApplicationName": "tumbling_window", "ApplicationDescription": "Scala tumbling window application", "RuntimeEnvironment": "FLINK-1_15", "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role", "ApplicationConfiguration": { "ApplicationCodeConfiguration": { "CodeContent": { "S3ContentLocation": { "BucketARN": "arn:aws:s3:::ka-app-code-username", "FileKey": "tumbling-window-scala-1.0.jar" } }, "CodeContentType": "ZIPFILE" }, "EnvironmentProperties": { "PropertyGroups": [ { "PropertyGroupId": "ConsumerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2", "stream.name" : "ExampleInputStream", "flink.stream.initpos" : "LATEST" } }, { "PropertyGroupId": "ProducerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2", "stream.name" : "ExampleOutputStream" } } ] } }, "CloudWatchLoggingOptions": [ { "LogStreamARN": "arn:aws:logs:us-west-2:012345678901:log-group:MyApplication:log-stream:kinesis-analytics-log-stream" } ] }

有关创建权限策略的 step-by-step 说明,请参阅 IAM 用户指南中的教程:创建并附加您的第一个客户托管策略

创建 IAM 角色

在本节中,您将创建一个 IAM 角色,应用程序的 Managed Service for Apache Flink可以代入此角色来读取源流和写入接收器流。

权限不足时,Managed Service for Apache Flink 无法访问您的串流。您通过 IAM 角色授予这些权限。每个 IAM 角色附加了两种策略。此信任策略授予 Managed Service for Apache Flink代入该角色的权限,权限策略确定 Managed Service for Apache Flink代入这个角色后可以执行的操作。

您将在上一部分中创建的权限策略附加到此角色。

创建 IAM 角色
  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航窗格中选择角色,然后选择创建角色

  3. 选择受信任实体的类型 下,选择 Amazon 服务

  4. 选择将使用此角色的服务 下,选择 Kinesis

  5. 选择您的用例部分,选择Managed Service for Apache Flink

  6. 选择下一步: 权限

  7. 附加权限策略 页面上,选择 下一步: 审核。在创建角色后,您可以附加权限策略。

  8. 创建角色 页面上,输入MF-stream-rw-role作为角色名称。选择 创建角色

    现在,您已经创建了一个名为 MF-stream-rw-role 的新 IAM 角色。接下来,您更新角色的信任和权限策略。

  9. 将权限策略附加到角色。

    注意

    对于本练习,Managed Service for Apache Flink代入此角色,以便同时从 Kinesis 数据流(源)读取数据和将输出写入另一个 Kinesis 数据流。因此,您附加在上一步创建权限策略中创建的策略。

    1. 摘要 页上,选择 权限 选项卡。

    2. 选择附加策略

    3. 在搜索框中,输入 AKReadSourceStreamWriteSinkStream(您在上一部分中创建的策略)。

    4. 选择AKReadSourceStreamWriteSinkStream策略,然后选择附加策略

现在,您已经创建了应用程序用来访问资源的服务执行角色。记下新角色的 ARN。

有关创建角色的 step-by-step 说明,请参阅 IAM 用户指南中的创建 IAM 角色(控制台)

创建应用程序

将以下 JSON 代码保存到名为 create_request.json 的文件中。将示例角色 ARN 替换为您之前创建的角色的 ARN。将存储桶 ARN 后缀 (用户名) 替换为在前一部分中选择的后缀。将服务执行角色中的示例账户 ID (012345678901) 替换为您的账户 ID。ServiceExecutionRole应包括您在上一节中创建的 IAM 用户角色。

"ApplicationName": "tumbling_window", "ApplicationDescription": "Scala getting started application", "RuntimeEnvironment": "FLINK-1_15", "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role", "ApplicationConfiguration": { "ApplicationCodeConfiguration": { "CodeContent": { "S3ContentLocation": { "BucketARN": "arn:aws:s3:::ka-app-code-username", "FileKey": "tumbling-window-scala-1.0.jar" } }, "CodeContentType": "ZIPFILE" }, "EnvironmentProperties": { "PropertyGroups": [ { "PropertyGroupId": "ConsumerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2", "stream.name" : "ExampleInputStream", "flink.stream.initpos" : "LATEST" } }, { "PropertyGroupId": "ProducerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2", "stream.name" : "ExampleOutputStream" } } ] } }, "CloudWatchLoggingOptions": [ { "LogStreamARN": "arn:aws:logs:us-west-2:012345678901:log-group:MyApplication:log-stream:kinesis-analytics-log-stream" } ] }

CreateApplication使用以下请求执行以创建应用程序:

aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

应用程序现已创建。您在下一步中启动应用程序。

启动应用程序

在本节中,您将使用StartApplication操作来启动应用程序。

启动应用程序
  1. 将以下 JSON 代码保存到名为 start_request.json 的文件中。

    { "ApplicationName": "tumbling_window", "RunConfiguration": { "ApplicationRestoreConfiguration": { "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT" } } }
  2. 使用上述请求执行 StartApplication 操作来启动应用程序:

    aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

应用程序正在运行。您可以在亚马逊 CloudWatch 控制台上查看托管服务的 Apache Flink 指标,以验证应用程序是否正常运行。

停止应用程序

在本节中,您将使用StopApplication操作来停止应用程序。

停止应用程序
  1. 将以下 JSON 代码保存到名为 stop_request.json 的文件中。

    { "ApplicationName": "tumbling_window" }
  2. 使用上述请求执行 StopApplication 操作来停止应用程序:

    aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

应用程序现已停止。

添加 CloudWatch 日志选项

您可以使用将 Amazon CloudWatch 日志流 Amazon CLI 添加到您的应用程序中。有关在应用程序中使用 CloudWatch 日志的信息,请参阅设置应用程序日志记录

更新环境属性

在本节中,您将使用UpdateApplication操作来更改应用程序的环境属性,而无需重新编译应用程序代码。在该示例中,您更改源流和目标流的区域。

更新应用程序的环境属性
  1. 将以下 JSON 代码保存到名为 update_properties_request.json 的文件中。

    {"ApplicationName": "tumbling_window", "CurrentApplicationVersionId": 1, "ApplicationConfigurationUpdate": { "EnvironmentPropertyUpdates": { "PropertyGroups": [ { "PropertyGroupId": "ConsumerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2", "stream.name" : "ExampleInputStream", "flink.stream.initpos" : "LATEST" } }, { "PropertyGroupId": "ProducerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2", "stream.name" : "ExampleOutputStream" } } ] } } }
  2. 使用前面的请求执行 UpdateApplication 操作以更新环境属性:

    aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json
更新应用程序代码

当您需要使用新版本的代码包更新应用程序代码时,可以使用 UpdateApplicationCLI 操作。

注意

要使用相同的文件名加载新版本的应用程序代码,您必须指定新的对象版本。有关使用 Amazon S3 对象版本的更多信息,请参阅启用或禁用版本控制

要使用 Amazon CLI,请从 Amazon S3 存储桶中删除之前的代码包,上传新版本,然后调用UpdateApplication,指定相同的 Amazon S3 存储桶和对象名称以及新的对象版本。应用程序将使用新的代码包重新启动。

以下示例 UpdateApplication 操作请求重新加载应用程序代码并重新启动应用程序。将 CurrentApplicationVersionId 更新为当前的应用程序版本。您可以使用 ListApplicationsDescribeApplication 操作检查当前的应用程序版本。将存储桶名称后缀 (<用户名>) 更新为在创建依赖资源一节中选择的后缀。

{ "ApplicationName": "tumbling_window", "CurrentApplicationVersionId": 1, "ApplicationConfigurationUpdate": { "ApplicationCodeConfigurationUpdate": { "CodeContentUpdate": { "S3ContentLocationUpdate": { "BucketARNUpdate": "arn:aws:s3:::ka-app-code-username", "FileKeyUpdate": "tumbling-window-scala-1.0.jar", "ObjectVersionUpdate": "SAMPLEUehYngP87ex1nzYIGYgfhypvDU" } } } } }
清理 Amazon 资源

本节包括清理在 tumbling Window 教程中创建的 Amazon 资源的过程。

删除你的 Apache 托管服务 Flink 应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Apache Flink 的托管服务面板中,选择。MyApplication

  3. 在应用程序的页面中,选择 删除,然后确认删除。

删除你的 Kinesis 数据流
  1. 打开 Kinesis 控制台,网址为:https://console.aws.amazon.com/kinesis

  2. 在 Kinesis Data Streams 面板中,ExampleInputStream选择。

  3. 在该ExampleInputStream页面中,选择 “删除 Kinesis Stream”,然后确认删除。

  4. Kinesis 直播页面中 ExampleOutputStream,选择,选择操作,选择删除,然后确认删除。

删除您的 Amazon S3 对象和存储桶
  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择 ka-app-code- 存储桶。 <username>

  3. 选择 删除,然后输入存储桶名称以确认删除。

删除您的 IAM 资源
  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航栏中,选择策略

  3. 在筛选条件控件中,输入 kinesis

  4. 选择 kinesis-analytics-service--us-MyApplication west-2 策略

  5. 选择 策略操作,然后选择 删除

  6. 在导航栏中,选择 角色

  7. 选择 k inesis-analytics-us-west-2 角色MyApplication

  8. 选择 删除角色,然后确认删除。

删除您的 CloudWatch 资源
  1. 打开 CloudWatch 控制台,网址为 https://console.aws.amazon.com/cloudwatch/

  2. 在导航栏中,选择 日志

  3. 选择 /aws/kinesis-analytics/ 日志组MyApplication

  4. 选择 删除日志组,然后确认删除。

示例:在 Scala 中创建滑动窗口

注意

有关当前示例,请参见示例

注意

从 Flink 1.15 版本开始,Scala 免费。应用程序现在可以使用任何 Scala 版本的 Java API。Flink 仍然在内部的一些关键组件中使用 Scala,但没有将 Scala 暴露到用户代码类加载器中。因此,用户需要将 Scala 从属项添加到其 jar 存档中。

有关 Flink 1.15 中 Scala 变更的更多信息,请参阅 1.15 Scala 免费

在本练习中,您将创建一个使用 Scala 3.2.0 和 Flink 的 Java API 的简单流媒体应用程序。 DataStream 该应用程序从 Kinesis 流中读取数据,使用滑动窗口对其进行聚合,并将结果写入输出 Kinesis 流。

注意

要为本练习设置所需的先决条件,请先完成入门 (Scala) 练习。

下载并检查应用程序代码

此示例的 Python 应用程序代码可从中获得 GitHub。要下载应用程序代码,请执行以下操作:

  1. 如果尚未安装 Git 客户端,请安装它。有关更多信息,请参阅安装 Git

  2. 使用以下命令克隆远程存储库:

    git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git
  3. 导航到 amazon-kinesis-data-analytics-java-examples/scala/SlidingWindow 目录。

请注意有关应用程序代码的以下信息:

  • build.sbt 文件包含有关应用程序的配置和从属项的信息,包括Managed Service for Apache Flink的库。

  • BasicStreamingJob.scala 文件包含定义应用程序功能的主要方法。

  • 应用程序使用 Kinesis 源从源流中进行读取。以下代码段创建 Kinesis 源:

    private def createSource: FlinkKinesisConsumer[String] = { val applicationProperties = KinesisAnalyticsRuntime.getApplicationProperties val inputProperties = applicationProperties.get("ConsumerConfigProperties") new FlinkKinesisConsumer[String](inputProperties.getProperty(streamNameKey, defaultInputStreamName), new SimpleStringSchema, inputProperties) }

    该应用程序还使用 Kinesis 接收器写入结果流。以下代码段创建 Kinesis 接收器:

    private def createSink: KinesisStreamsSink[String] = { val applicationProperties = KinesisAnalyticsRuntime.getApplicationProperties val outputProperties = applicationProperties.get("ProducerConfigProperties") KinesisStreamsSink.builder[String] .setKinesisClientProperties(outputProperties) .setSerializationSchema(new SimpleStringSchema) .setStreamName(outputProperties.getProperty(streamNameKey, defaultOutputStreamName)) .setPartitionKeyGenerator((element: String) => String.valueOf(element.hashCode)) .build }
  • 应用程序使用窗口运算符在 10 秒的滑动窗口(以 5 秒为增量)中查找每个股票代号的计数值。以下代码创建操作符,并将聚合的数据发送到新的 Kinesis Data Streams 接收器:

    environment.addSource(createSource) .map { value => val jsonNode = jsonParser.readValue(value, classOf[JsonNode]) new Tuple2[String, Double](jsonNode.get("ticker").toString, jsonNode.get("price").asDouble) } .returns(Types.TUPLE(Types.STRING, Types.DOUBLE)) .keyBy(v => v.f0) // Logically partition the stream for each word .window(SlidingProcessingTimeWindows.of(Time.seconds(10), Time.seconds(5))) .min(1) // Calculate minimum price per ticker over the window .map { value => value.f0 + String.format(",%.2f", value.f1) + "\n" } .sinkTo(createSink)
  • 应用程序创建源连接器和接收器连接器,以使用 StreamExecutionEnvironment 对象访问外部资源。

  • 该应用程序将使用动态应用程序属性创建源和接收连接器。读取应用程序的运行时系统属性来配置连接器。有关运行时系统属性的更多信息,请参阅运行时系统属性

编译并上传应用程序代码

在本节中,您将编译应用程序代码并将其上传到 Amazon S3 存储桶。

编译应用程序代码

使用 SBT 构建工具为应用程序构建 Scala 代码。要安装 SBT,请参阅使用 cs 安装程序安装 sbt。您还需要安装 Java 开发工具包 (JDK)。参阅完成练习的先决条件

  1. 要使用您的应用程序代码,您将其编译和打包成 JAR 文件。您可以用 SBT 编译和打包代码:

    sbt assembly
  2. 如果应用程序成功编译,则创建以下文件:

    target/scala-3.2.0/sliding-window-scala-1.0.jar
上传 Apache Flink 流式处理 Scala 代码

在本节中,创建 Amazon S3 存储桶并上传应用程序代码。

  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择创建存储桶

  3. 存储桶名称 字段中输入 ka-app-code-<username>。将后缀(如您的用户名)添加到存储桶名称,以使其具有全局唯一性。选择 下一步

  4. 配置选项中,让设置保持原样,然后选择下一步

  5. 设置权限中,让设置保持原样,然后选择下一步

  6. 选择创建存储桶

  7. 选择 ka-app-code-<username> 存储桶,然后选择上传

  8. 选择文件步骤中,选择添加文件。导航到您在上一步中创建的 sliding-window-scala-1.0.jar 文件。

  9. 您无需更改该对象的任何设置,因此,请选择上传

您的应用程序代码现在存储在 Amazon S3 存储桶中,应用程序可以在其中访问代码。

创建并运行应用程序(控制台)

按照以下步骤,使用控制台创建、配置、更新和运行应用程序。

创建应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Managed Service for Apache Flink 控制面板上,选择创建分析应用程序

  3. Managed Service for Apache Flink - 创建应用程序页面上,提供应用程序详细信息,如下所示:

    • 对于 应用程序名称 ,输入 MyApplication

    • 对于描述,输入 My Scala test app

    • 对于 运行时,请选择 Apache Flink

    • 将版本保留为 Apache Flink 版本 1.15.2(建议的版本)

  4. 对于访问权限,请选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  5. 选择创建应用程序

注意

在使用控制台创建应用程序的 Managed Service for Apache Flink时,您可以选择为应用程序创建 IAM 角色和策略。您的应用程序使用此角色和策略访问其从属资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

  • 策略:kinesis-analytics-service-MyApplication-us-west-2

  • 角色:kinesisanalytics-MyApplication-us-west-2

配置应用程序

请使用以下过程来配置应用程序。

配置应用程序
  1. MyApplication页面上,选择配置

  2. 配置应用程序 页面上,提供 代码位置

    • 对于Amazon S3 存储桶,请输入ka-app-code-<username>

    • 在 Amazon S3 对象的路径中,输入sliding-window-scala-1.0.jar.

  3. 对应用程序的访问权限 下,对于 访问权限,选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  4. 属性下面,选择添加组

  5. 输入以下信息:

    组 ID
    ConsumerConfigProperties input.stream.name ExampleInputStream
    ConsumerConfigProperties aws.region us-west-2
    ConsumerConfigProperties flink.stream.initpos LATEST

    选择保存

  6. 属性下面,再次选择添加组

  7. 输入以下信息:

    组 ID
    ProducerConfigProperties output.stream.name ExampleOutputStream
    ProducerConfigProperties aws.region us-west-2
  8. 监控 下,确保 监控指标级别 设置为 应用程序

  9. 要进行CloudWatch 日志记录,请选中 “启用” 复选框。

  10. 选择更新

注意

当您选择启用 Amazon CloudWatch 日志时,适用于 Apache Flink 的托管服务会为您创建一个日志组和日志流。这些资源的名称如下所示:

  • 日志组:/aws/kinesis-analytics/MyApplication

  • 日志流:kinesis-analytics-log-stream

编辑 IAM 政策

编辑 IAM policy 以添加访问 Amazon S3 数据流的权限。

编辑 IAM policy 以添加 S3 存储桶权限
  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 选择策略。选择控制台在上一部分中为您创建的 kinesis-analytics-service-MyApplication-us-west-2 策略。

  3. 摘要 页面上,选择 编辑策略。选择 JSON 选项卡。

  4. 将以下策略示例中突出显示的部分添加到策略中。将示例账户 ID (012345678901) 替换为您的账户 ID。

    { "Version": "2012-10-17", "Statement": [ { "Sid": "ReadCode", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": [ "arn:aws:s3:::ka-app-code-username/sliding-window-scala-1.0.jar" ] }, { "Sid": "DescribeLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*" ] }, { "Sid": "DescribeLogStreams", "Effect": "Allow", "Action": [ "logs:DescribeLogStreams" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*" ] }, { "Sid": "PutLogEvents", "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteOutputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream" } ] }
运行应用程序

可以通过运行应用程序、打开 Apache Flink 控制面板并选择所需的 Flink 任务来查看 Flink 任务图。

停止应用程序

要停止应用程序,请在MyApplication页面上选择停止。确认该操作。

创建并运行应用程序 (CLI)

在本节中,您将使用创建和运行适用 Amazon Command Line Interface 于 Apache Flink 的托管服务应用程序。使用 k inesisanalyticsv2 Amazon CLI 命令为 Apache Flink 应用程序创建托管服务并与之交互。

创建权限策略
注意

您必须为应用程序创建一个权限策略和角色。如果未创建这些 IAM 资源,应用程序将无法访问其数据和日志流。

首先,使用两个语句创建权限策略:一个语句授予对源流执行读取操作的权限,另一个语句授予对接收器流执行写入操作的权限。然后,将策略附加到 IAM 角色(下一部分中将创建此角色)。因此,在 Managed Service for Apache Flink代入该角色时,服务具有必要的权限从源流进行读取和写入接收器流。

使用以下代码创建 AKReadSourceStreamWriteSinkStream 权限策略。将 username 替换为您用于创建 Amazon S3 存储桶来存储应用程序代码的用户名。将 Amazon 资源名称 (ARN) 中的账户 ID (012345678901) 替换为您的账户 ID。

{ "ApplicationName": "sliding_window", "ApplicationDescription": "Scala sliding window application", "RuntimeEnvironment": "FLINK-1_15", "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role", "ApplicationConfiguration": { "ApplicationCodeConfiguration": { "CodeContent": { "S3ContentLocation": { "BucketARN": "arn:aws:s3:::ka-app-code-username", "FileKey": "sliding-window-scala-1.0.jar" } }, "CodeContentType": "ZIPFILE" }, "EnvironmentProperties": { "PropertyGroups": [ { "PropertyGroupId": "ConsumerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2", "stream.name" : "ExampleInputStream", "flink.stream.initpos" : "LATEST" } }, { "PropertyGroupId": "ProducerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2", "stream.name" : "ExampleOutputStream" } } ] } }, "CloudWatchLoggingOptions": [ { "LogStreamARN": "arn:aws:logs:us-west-2:012345678901:log-group:MyApplication:log-stream:kinesis-analytics-log-stream" } ] }

有关创建权限策略的 step-by-step 说明,请参阅 IAM 用户指南中的教程:创建并附加您的第一个客户托管策略

创建 IAM 角色

在本节中,您将创建一个 IAM 角色,应用程序的 Managed Service for Apache Flink可以代入此角色来读取源流和写入接收器流。

权限不足时,Managed Service for Apache Flink 无法访问您的串流。您通过 IAM 角色授予这些权限。每个 IAM 角色附加了两种策略。此信任策略授予 Managed Service for Apache Flink代入该角色的权限,权限策略确定 Managed Service for Apache Flink代入这个角色后可以执行的操作。

您将在上一部分中创建的权限策略附加到此角色。

创建 IAM 角色
  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航窗格中选择角色,然后选择创建角色

  3. 选择受信任实体的类型 下,选择 Amazon 服务

  4. 选择将使用此角色的服务 下,选择 Kinesis

  5. 选择您的用例部分,选择Managed Service for Apache Flink

  6. 选择下一步: 权限

  7. 附加权限策略 页面上,选择 下一步: 审核。在创建角色后,您可以附加权限策略。

  8. 创建角色 页面上,输入MF-stream-rw-role作为角色名称。选择 创建角色

    现在,您已经创建了一个名为 MF-stream-rw-role 的新 IAM 角色。接下来,您更新角色的信任和权限策略。

  9. 将权限策略附加到角色。

    注意

    对于本练习,Managed Service for Apache Flink代入此角色,以便同时从 Kinesis 数据流(源)读取数据和将输出写入另一个 Kinesis 数据流。因此,您附加在上一步创建权限策略中创建的策略。

    1. 摘要 页上,选择 权限 选项卡。

    2. 选择附加策略

    3. 在搜索框中,输入 AKReadSourceStreamWriteSinkStream(您在上一部分中创建的策略)。

    4. 选择AKReadSourceStreamWriteSinkStream策略,然后选择附加策略

现在,您已经创建了应用程序用来访问资源的服务执行角色。记下新角色的 ARN。

有关创建角色的 step-by-step 说明,请参阅 IAM 用户指南中的创建 IAM 角色(控制台)

创建应用程序

将以下 JSON 代码保存到名为 create_request.json 的文件中。将示例角色 ARN 替换为您之前创建的角色的 ARN。将存储桶 ARN 后缀 (用户名) 替换为在前一部分中选择的后缀。将服务执行角色中的示例账户 ID (012345678901) 替换为您的账户 ID。

{ "ApplicationName": "sliding_window", "ApplicationDescription": "Scala sliding_window application", "RuntimeEnvironment": "FLINK-1_15", "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role", "ApplicationConfiguration": { "ApplicationCodeConfiguration": { "CodeContent": { "S3ContentLocation": { "BucketARN": "arn:aws:s3:::ka-app-code-username", "FileKey": "sliding-window-scala-1.0.jar" } }, "CodeContentType": "ZIPFILE" }, "EnvironmentProperties": { "PropertyGroups": [ { "PropertyGroupId": "ConsumerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2", "stream.name" : "ExampleInputStream", "flink.stream.initpos" : "LATEST" } }, { "PropertyGroupId": "ProducerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2", "stream.name" : "ExampleOutputStream" } } ] } }, "CloudWatchLoggingOptions": [ { "LogStreamARN": "arn:aws:logs:us-west-2:012345678901:log-group:MyApplication:log-stream:kinesis-analytics-log-stream" } ] }

CreateApplication使用以下请求执行以创建应用程序:

aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

应用程序现已创建。您在下一步中启动应用程序。

启动应用程序

在本节中,您将使用StartApplication操作来启动应用程序。

启动应用程序
  1. 将以下 JSON 代码保存到名为 start_request.json 的文件中。

    { "ApplicationName": "sliding_window", "RunConfiguration": { "ApplicationRestoreConfiguration": { "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT" } } }
  2. 使用上述请求执行 StartApplication 操作来启动应用程序:

    aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

应用程序正在运行。您可以在亚马逊 CloudWatch 控制台上查看托管服务的 Apache Flink 指标,以验证应用程序是否正常运行。

停止应用程序

在本节中,您将使用StopApplication操作来停止应用程序。

停止应用程序
  1. 将以下 JSON 代码保存到名为 stop_request.json 的文件中。

    { "ApplicationName": "sliding_window" }
  2. 使用上述请求执行 StopApplication 操作来停止应用程序:

    aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

应用程序现已停止。

添加 CloudWatch 日志选项

您可以使用将 Amazon CloudWatch 日志流 Amazon CLI 添加到您的应用程序中。有关在应用程序中使用 CloudWatch 日志的信息,请参阅设置应用程序日志记录

更新环境属性

在本节中,您将使用UpdateApplication操作来更改应用程序的环境属性,而无需重新编译应用程序代码。在该示例中,您更改源流和目标流的区域。

更新应用程序的环境属性
  1. 将以下 JSON 代码保存到名为 update_properties_request.json 的文件中。

    {"ApplicationName": "sliding_window", "CurrentApplicationVersionId": 1, "ApplicationConfigurationUpdate": { "EnvironmentPropertyUpdates": { "PropertyGroups": [ { "PropertyGroupId": "ConsumerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2", "stream.name" : "ExampleInputStream", "flink.stream.initpos" : "LATEST" } }, { "PropertyGroupId": "ProducerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2", "stream.name" : "ExampleOutputStream" } } ] } } }
  2. 使用前面的请求执行 UpdateApplication 操作以更新环境属性:

    aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json
更新应用程序代码

当您需要使用新版本的代码包更新应用程序代码时,可以使用 UpdateApplicationCLI 操作。

注意

要使用相同的文件名加载新版本的应用程序代码,您必须指定新的对象版本。有关使用 Amazon S3 对象版本的更多信息,请参阅启用或禁用版本控制

要使用 Amazon CLI,请从 Amazon S3 存储桶中删除之前的代码包,上传新版本,然后调用UpdateApplication,指定相同的 Amazon S3 存储桶和对象名称以及新的对象版本。应用程序将使用新的代码包重新启动。

以下示例 UpdateApplication 操作请求重新加载应用程序代码并重新启动应用程序。将 CurrentApplicationVersionId 更新为当前的应用程序版本。您可以使用 ListApplicationsDescribeApplication 操作检查当前的应用程序版本。将存储桶名称后缀 (<用户名>) 更新为在创建依赖资源一节中选择的后缀。

{ "ApplicationName": "sliding_window", "CurrentApplicationVersionId": 1, "ApplicationConfigurationUpdate": { "ApplicationCodeConfigurationUpdate": { "CodeContentUpdate": { "S3ContentLocationUpdate": { "BucketARNUpdate": "arn:aws:s3:::ka-app-code-username", "FileKeyUpdate": "-1.0.jar", "ObjectVersionUpdate": "SAMPLEUehYngP87ex1nzYIGYgfhypvDU" } } } } }
清理 Amazon 资源

本节包括清理滑动窗口教程中创建的 Amazon 资源的过程。

删除你的 Apache 托管服务 Flink 应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Apache Flink 的托管服务面板中,选择。MyApplication

  3. 在应用程序的页面中,选择 删除,然后确认删除。

删除你的 Kinesis 数据流
  1. 打开 Kinesis 控制台,网址为:https://console.aws.amazon.com/kinesis

  2. 在 Kinesis Data Streams 面板中,ExampleInputStream选择。

  3. 在该ExampleInputStream页面中,选择 “删除 Kinesis Stream”,然后确认删除。

  4. Kinesis 直播页面中 ExampleOutputStream,选择,选择操作,选择删除,然后确认删除。

删除您的 Amazon S3 对象和存储桶
  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择 ka-app-code- 存储桶。 <username>

  3. 选择 删除,然后输入存储桶名称以确认删除。

删除您的 IAM 资源
  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航栏中,选择策略

  3. 在筛选条件控件中,输入 kinesis

  4. 选择 kinesis-analytics-service--us-MyApplication west-2 策略

  5. 选择 策略操作,然后选择 删除

  6. 在导航栏中,选择 角色

  7. 选择 k inesis-analytics-us-west-2 角色MyApplication

  8. 选择 删除角色,然后确认删除。

删除您的 CloudWatch 资源
  1. 打开 CloudWatch 控制台,网址为 https://console.aws.amazon.com/cloudwatch/

  2. 在导航栏中,选择 日志

  3. 选择 /aws/kinesis-analytics/ 日志组MyApplication

  4. 选择 删除日志组,然后确认删除。

示例:在 Scala 中将流数据发送到 Amazon S3

注意

有关当前示例,请参见示例

注意

从 Flink 1.15 版本开始,Scala 免费。应用程序现在可以使用任何 Scala 版本的 Java API。Flink 仍然在内部的一些关键组件中使用 Scala,但没有将 Scala 暴露到用户代码类加载器中。因此,用户需要将 Scala 从属项添加到其 jar 存档中。

有关 Flink 1.15 中 Scala 变更的更多信息,请参阅 1.15 Scala 免费

在本练习中,您将创建一个使用 Scala 3.2.0 和 Flink 的 Java API 的简单流媒体应用程序。 DataStream 该应用程序从 Kinesis 流中读取数据,使用滑动窗口对其进行聚合,然后将结果写入 S3。

注意

要为本练习设置所需的先决条件,请先完成入门 (Scala) 练习。您只需要在 Amazon S3 存储桶data/中再创建一个文件夹 ka-app-code- <username>。

下载并检查应用程序代码

此示例的 Python 应用程序代码可从中获得 GitHub。要下载应用程序代码,请执行以下操作:

  1. 如果尚未安装 Git 客户端,请安装它。有关更多信息,请参阅安装 Git

  2. 使用以下命令克隆远程存储库:

    git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git
  3. 导航到 amazon-kinesis-data-analytics-java-examples/scala/S3Sink 目录。

请注意有关应用程序代码的以下信息:

  • build.sbt 文件包含有关应用程序的配置和从属项的信息,包括Managed Service for Apache Flink的库。

  • BasicStreamingJob.scala 文件包含定义应用程序功能的主要方法。

  • 应用程序使用 Kinesis 源从源流中进行读取。以下代码段创建 Kinesis 源:

    private def createSource: FlinkKinesisConsumer[String] = { val applicationProperties = KinesisAnalyticsRuntime.getApplicationProperties val inputProperties = applicationProperties.get("ConsumerConfigProperties") new FlinkKinesisConsumer[String](inputProperties.getProperty(streamNameKey, defaultInputStreamName), new SimpleStringSchema, inputProperties) }

    该应用程序还使用写 StreamingFileSink 入 Amazon S3 存储桶:

    def createSink: StreamingFileSink[String] = { val applicationProperties = KinesisAnalyticsRuntime.getApplicationProperties val s3SinkPath = applicationProperties.get("ProducerConfigProperties").getProperty("s3.sink.path") StreamingFileSink .forRowFormat(new Path(s3SinkPath), new SimpleStringEncoder[String]("UTF-8")) .build() }
  • 应用程序创建源连接器和接收器连接器,以使用 StreamExecutionEnvironment 对象访问外部资源。

  • 该应用程序将使用动态应用程序属性创建源和接收连接器。读取应用程序的运行时系统属性来配置连接器。有关运行时系统属性的更多信息,请参阅运行时系统属性

编译并上传应用程序代码

在本节中,您将编译应用程序代码并将其上传到 Amazon S3 存储桶。

编译应用程序代码

使用 SBT 构建工具为应用程序构建 Scala 代码。要安装 SBT,请参阅使用 cs 安装程序安装 sbt。您还需要安装 Java 开发工具包 (JDK)。参阅完成练习的先决条件

  1. 要使用您的应用程序代码,您将其编译和打包成 JAR 文件。您可以用 SBT 编译和打包代码:

    sbt assembly
  2. 如果应用程序成功编译,则创建以下文件:

    target/scala-3.2.0/s3-sink-scala-1.0.jar
上传 Apache Flink 流式处理 Scala 代码

在本节中,创建 Amazon S3 存储桶并上传应用程序代码。

  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择创建存储桶

  3. 存储桶名称 字段中输入 ka-app-code-<username>。将后缀(如您的用户名)添加到存储桶名称,以使其具有全局唯一性。选择 下一步

  4. 配置选项中,让设置保持原样,然后选择下一步

  5. 设置权限中,让设置保持原样,然后选择下一步

  6. 选择创建存储桶

  7. 选择 ka-app-code-<username> 存储桶,然后选择上传

  8. 选择文件步骤中,选择添加文件。导航到您在上一步中创建的 s3-sink-scala-1.0.jar 文件。

  9. 您无需更改该对象的任何设置,因此,请选择上传

您的应用程序代码现在存储在 Amazon S3 存储桶中,应用程序可以在其中访问代码。

创建并运行应用程序(控制台)

按照以下步骤,使用控制台创建、配置、更新和运行应用程序。

创建应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Managed Service for Apache Flink 控制面板上,选择创建分析应用程序

  3. Managed Service for Apache Flink - 创建应用程序页面上,提供应用程序详细信息,如下所示:

    • 对于 应用程序名称 ,输入 MyApplication

    • 对于描述,输入 My java test app

    • 对于 运行时,请选择 Apache Flink

    • 将版本保留为 Apache Flink 版本 1.15.2(建议的版本)

  4. 对于访问权限,请选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  5. 选择创建应用程序

注意

在使用控制台创建应用程序的 Managed Service for Apache Flink时,您可以选择为应用程序创建 IAM 角色和策略。您的应用程序使用此角色和策略访问其从属资源。这些 IAM 资源是使用您的应用程序名称和区域命名的,如下所示:

  • 策略:kinesis-analytics-service-MyApplication-us-west-2

  • 角色:kinesisanalytics-MyApplication-us-west-2

配置应用程序

请使用以下过程来配置应用程序。

配置应用程序
  1. MyApplication页面上,选择配置

  2. 配置应用程序 页面上,提供 代码位置

    • 对于Amazon S3 存储桶,请输入ka-app-code-<username>

    • 在 Amazon S3 对象的路径中,输入s3-sink-scala-1.0.jar

  3. 对应用程序的访问权限 下,对于 访问权限,选择 创建/更新 IAM 角色 kinesis-analytics-MyApplication-us-west-2

  4. 属性下面,选择添加组

  5. 输入以下信息:

    组 ID
    ConsumerConfigProperties input.stream.name ExampleInputStream
    ConsumerConfigProperties aws.region us-west-2
    ConsumerConfigProperties flink.stream.initpos LATEST

    选择保存

  6. 属性下面,选择添加组

  7. 输入以下信息:

    组 ID
    ProducerConfigProperties s3.sink.path s3a://ka-app-code-<user-name>/data
  8. 监控 下,确保 监控指标级别 设置为 应用程序

  9. 要进行CloudWatch 日志记录,请选中 “启用” 复选框。

  10. 选择更新

注意

当您选择启用 Amazon CloudWatch 日志时,适用于 Apache Flink 的托管服务会为您创建一个日志组和日志流。这些资源的名称如下所示:

  • 日志组:/aws/kinesis-analytics/MyApplication

  • 日志流:kinesis-analytics-log-stream

编辑 IAM 政策

编辑 IAM policy 以添加访问 Amazon S3 数据流的权限。

编辑 IAM policy 以添加 S3 存储桶权限
  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 选择策略。选择控制台在上一部分中为您创建的 kinesis-analytics-service-MyApplication-us-west-2 策略。

  3. 摘要 页面上,选择 编辑策略。选择 JSON 选项卡。

  4. 将以下策略示例中突出显示的部分添加到策略中。将示例账户 ID (012345678901) 替换为您的账户 ID。

    { "Version": "2012-10-17", "Statement": [ { "Sid": "ReadCode", "Effect": "Allow", "Action": [ "s3:Abort*", "s3:DeleteObject*", "s3:GetObject*", "s3:GetBucket*", "s3:List*", "s3:ListBucket", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::ka-app-code-<username>", "arn:aws:s3:::ka-app-code-<username>/*" ] }, { "Sid": "DescribeLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*" ] }, { "Sid": "DescribeLogStreams", "Effect": "Allow", "Action": [ "logs:DescribeLogStreams" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*" ] }, { "Sid": "PutLogEvents", "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" } ] }
运行应用程序

可以通过运行应用程序、打开 Apache Flink 控制面板并选择所需的 Flink 任务来查看 Flink 任务图。

停止应用程序

要停止应用程序,请在MyApplication页面上选择停止。确认该操作。

创建并运行应用程序 (CLI)

在本节中,您将使用创建和运行适用 Amazon Command Line Interface 于 Apache Flink 的托管服务应用程序。使用 k inesisanalyticsv2 Amazon CLI 命令为 Apache Flink 应用程序创建托管服务并与之交互。

创建权限策略
注意

您必须为应用程序创建一个权限策略和角色。如果未创建这些 IAM 资源,应用程序将无法访问其数据和日志流。

首先,使用两个语句创建权限策略:一个语句授予对源流执行读取操作的权限,另一个语句授予对接收器流执行写入操作的权限。然后,将策略附加到 IAM 角色(下一部分中将创建此角色)。因此,在 Managed Service for Apache Flink代入该角色时,服务具有必要的权限从源流进行读取和写入接收器流。

使用以下代码创建 AKReadSourceStreamWriteSinkStream 权限策略。将 username 替换为您用于创建 Amazon S3 存储桶来存储应用程序代码的用户名。将 Amazon 资源名称 (ARN) 中的账户 ID (012345678901) 替换为您的账户 ID。

{ "Version": "2012-10-17", "Statement": [ { "Sid": "ReadCode", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": [ "arn:aws:s3:::ka-app-code-username/getting-started-scala-1.0.jar" ] }, { "Sid": "DescribeLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:*" ] }, { "Sid": "DescribeLogStreams", "Effect": "Allow", "Action": [ "logs:DescribeLogStreams" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*" ] }, { "Sid": "PutLogEvents", "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteOutputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream" } ] }

有关创建权限策略的 step-by-step 说明,请参阅 IAM 用户指南中的教程:创建并附加您的第一个客户托管策略

创建 IAM 角色

在本节中,您将创建一个 IAM 角色,应用程序的 Managed Service for Apache Flink可以代入此角色来读取源流和写入接收器流。

权限不足时,Managed Service for Apache Flink 无法访问您的串流。您通过 IAM 角色授予这些权限。每个 IAM 角色附加了两种策略。此信任策略授予 Managed Service for Apache Flink代入该角色的权限,权限策略确定 Managed Service for Apache Flink代入这个角色后可以执行的操作。

您将在上一部分中创建的权限策略附加到此角色。

创建 IAM 角色
  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航窗格中选择角色,然后选择创建角色

  3. 选择受信任实体的类型 下,选择 Amazon 服务

  4. 选择将使用此角色的服务 下,选择 Kinesis

  5. 选择您的用例部分,选择Managed Service for Apache Flink

  6. 选择下一步: 权限

  7. 附加权限策略 页面上,选择 下一步: 审核。在创建角色后,您可以附加权限策略。

  8. 创建角色 页面上,输入MF-stream-rw-role作为角色名称。选择 创建角色

    现在,您已经创建了一个名为 MF-stream-rw-role 的新 IAM 角色。接下来,您更新角色的信任和权限策略。

  9. 将权限策略附加到角色。

    注意

    对于本练习,Managed Service for Apache Flink代入此角色,以便同时从 Kinesis 数据流(源)读取数据和将输出写入另一个 Kinesis 数据流。因此,您附加在上一步创建权限策略中创建的策略。

    1. 摘要 页上,选择 权限 选项卡。

    2. 选择附加策略

    3. 在搜索框中,输入 AKReadSourceStreamWriteSinkStream(您在上一部分中创建的策略)。

    4. 选择AKReadSourceStreamWriteSinkStream策略,然后选择附加策略

现在,您已经创建了应用程序用来访问资源的服务执行角色。记下新角色的 ARN。

有关创建角色的 step-by-step 说明,请参阅 IAM 用户指南中的创建 IAM 角色(控制台)

创建应用程序

将以下 JSON 代码保存到名为 create_request.json 的文件中。将示例角色 ARN 替换为您之前创建的角色的 ARN。将存储桶 ARN 后缀 (用户名) 替换为在前一部分中选择的后缀。将服务执行角色中的示例账户 ID (012345678901) 替换为您的账户 ID。

{ "ApplicationName": "s3_sink", "ApplicationDescription": "Scala tumbling window application", "RuntimeEnvironment": "FLINK-1_15", "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role", "ApplicationConfiguration": { "ApplicationCodeConfiguration": { "CodeContent": { "S3ContentLocation": { "BucketARN": "arn:aws:s3:::ka-app-code-username", "FileKey": "s3-sink-scala-1.0.jar" } }, "CodeContentType": "ZIPFILE" }, "EnvironmentProperties": { "PropertyGroups": [ { "PropertyGroupId": "ConsumerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2", "stream.name" : "ExampleInputStream", "flink.stream.initpos" : "LATEST" } }, { "PropertyGroupId": "ProducerConfigProperties", "PropertyMap" : { "s3.sink.path" : "s3a://ka-app-code-<username>/data" } } ] } }, "CloudWatchLoggingOptions": [ { "LogStreamARN": "arn:aws:logs:us-west-2:012345678901:log-group:MyApplication:log-stream:kinesis-analytics-log-stream" } ] }

CreateApplication使用以下请求执行以创建应用程序:

aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

应用程序现已创建。您在下一步中启动应用程序。

启动应用程序

在本节中,您将使用StartApplication操作来启动应用程序。

启动应用程序
  1. 将以下 JSON 代码保存到名为 start_request.json 的文件中。

    {{ "ApplicationName": "s3_sink", "RunConfiguration": { "ApplicationRestoreConfiguration": { "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT" } } }
  2. 使用上述请求执行 StartApplication 操作来启动应用程序:

    aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

应用程序正在运行。您可以在亚马逊 CloudWatch 控制台上查看托管服务的 Apache Flink 指标,以验证应用程序是否正常运行。

停止应用程序

在本节中,您将使用StopApplication操作来停止应用程序。

停止应用程序
  1. 将以下 JSON 代码保存到名为 stop_request.json 的文件中。

    { "ApplicationName": "s3_sink" }
  2. 使用上述请求执行 StopApplication 操作来停止应用程序:

    aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

应用程序现已停止。

添加 CloudWatch 日志选项

您可以使用将 Amazon CloudWatch 日志流 Amazon CLI 添加到您的应用程序中。有关在应用程序中使用 CloudWatch 日志的信息,请参阅设置应用程序日志记录

更新环境属性

在本节中,您将使用UpdateApplication操作来更改应用程序的环境属性,而无需重新编译应用程序代码。在该示例中,您更改源流和目标流的区域。

更新应用程序的环境属性
  1. 将以下 JSON 代码保存到名为 update_properties_request.json 的文件中。

    {"ApplicationName": "s3_sink", "CurrentApplicationVersionId": 1, "ApplicationConfigurationUpdate": { "EnvironmentPropertyUpdates": { "PropertyGroups": [ { "PropertyGroupId": "ConsumerConfigProperties", "PropertyMap" : { "aws.region" : "us-west-2", "stream.name" : "ExampleInputStream", "flink.stream.initpos" : "LATEST" } }, { "PropertyGroupId": "ProducerConfigProperties", "PropertyMap" : { "s3.sink.path" : "s3a://ka-app-code-<username>/data" } } ] } } }
  2. 使用前面的请求执行 UpdateApplication 操作以更新环境属性:

    aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json
更新应用程序代码

当您需要使用新版本的代码包更新应用程序代码时,可以使用 UpdateApplicationCLI 操作。

注意

要使用相同的文件名加载新版本的应用程序代码,您必须指定新的对象版本。有关使用 Amazon S3 对象版本的更多信息,请参阅启用或禁用版本控制

要使用 Amazon CLI,请从 Amazon S3 存储桶中删除之前的代码包,上传新版本,然后调用UpdateApplication,指定相同的 Amazon S3 存储桶和对象名称以及新的对象版本。应用程序将使用新的代码包重新启动。

以下示例 UpdateApplication 操作请求重新加载应用程序代码并重新启动应用程序。将 CurrentApplicationVersionId 更新为当前的应用程序版本。您可以使用 ListApplicationsDescribeApplication 操作检查当前的应用程序版本。将存储桶名称后缀 (<用户名>) 更新为在创建依赖资源一节中选择的后缀。

{ "ApplicationName": "s3_sink", "CurrentApplicationVersionId": 1, "ApplicationConfigurationUpdate": { "ApplicationCodeConfigurationUpdate": { "CodeContentUpdate": { "S3ContentLocationUpdate": { "BucketARNUpdate": "arn:aws:s3:::ka-app-code-username", "FileKeyUpdate": "s3-sink-scala-1.0.jar", "ObjectVersionUpdate": "SAMPLEUehYngP87ex1nzYIGYgfhypvDU" } } } } }
清理 Amazon 资源

本节包括清理在 Tumbling Window 教程中创建的 Amazon 资源的过程。

删除你的 Apache 托管服务 Flink 应用程序
  1. 打开 Managed Service for Apache Flink 控制台,网址为 https://console.aws.amazon.com/flink

  2. 在 Apache Flink 的托管服务面板中,选择。MyApplication

  3. 在应用程序的页面中,选择 删除,然后确认删除。

删除你的 Kinesis 数据流
  1. 打开 Kinesis 控制台,网址为:https://console.aws.amazon.com/kinesis

  2. 在 Kinesis Data Streams 面板中,ExampleInputStream选择。

  3. 在该ExampleInputStream页面中,选择 “删除 Kinesis Stream”,然后确认删除。

  4. Kinesis 直播页面中 ExampleOutputStream,选择,选择操作,选择删除,然后确认删除。

删除您的 Amazon S3 对象和存储桶
  1. 打开 Amazon S3 控制台,网址为:https://console.aws.amazon.com/s3/

  2. 选择 ka-app-code- 存储桶。 <username>

  3. 选择 删除,然后输入存储桶名称以确认删除。

删除您的 IAM 资源
  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航栏中,选择策略

  3. 在筛选条件控件中,输入 kinesis

  4. 选择 kinesis-analytics-service--us-MyApplication west-2 策略

  5. 选择 策略操作,然后选择 删除

  6. 在导航栏中,选择 角色

  7. 选择 k inesis-analytics-us-west-2 角色MyApplication

  8. 选择 删除角色,然后确认删除。

删除您的 CloudWatch 资源
  1. 打开 CloudWatch 控制台,网址为 https://console.aws.amazon.com/cloudwatch/

  2. 在导航栏中,选择 日志

  3. 选择 /aws/kinesis-analytics/ 日志组MyApplication

  4. 选择 删除日志组,然后确认删除。