Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
创建 Studio 笔记本
Studio 笔记本包含用 Python 或 Scala 编写的查询或程序,这些查询或程序在流数据上运行并返回分析结果。SQL您可以使用控制台或创建应用程序CLI,并提供查询以分析来自您的数据源的数据。
您的应用程序具有以下组件:
数据源,例如亚马逊MSK集群、Kinesis 数据流或 Amazon S3 存储桶。
一个 Amazon Glue 数据库。此数据库包含用于存储您的数据源、目标架构和端点的表。有关更多信息,请参阅 与... 一起工作 Amazon Glue。
您的应用程序代码。您的代码实现了您的分析查询或程序。
您的应用程序设置和运行时系统属性。有关应用程序设置和运行时系统属性的信息,请参阅 Apache Flink 应用程序开发人员指南中的下列主题:
应用程序并行度和扩展:您可以使用应用程序的 Parallelism 设置来控制应用程序可以同时执行的查询数量。如果您的查询有多个执行路径,则还可以利用更高的并行度,例如在以下情况下:
处理 Kinesis 数据流的多个分片时
使用
KeyBy
运算符对数据进行分区时。使用多个窗口运算符时
有关应用程序扩展的更多信息,请参阅 Managed Service for Apache Flink
日志和监控:有关应用程序日志和监控的信息,请参阅 Amazon Managed Service for Apache Flink 中的日志记录和监控 Apache Flinkhttps://docs.amazonaws.cn/managed-flink/latest/java/monitoring-overview.html。
-
您的应用程序使用检查点和保存点来实现容错。Studio 笔记本默认不启用检查点和保存点。
您可以使用 Amazon Web Services Management Console 或创建 Studio 笔记本 Amazon CLI。
从控制台创建应用程序时,您可以选择以下选项:
在 Amazon MSK 控制台中,选择您的集群,然后选择实时处理数据。
在 Kinesis Data Streams 控制台中,选择您的数据流,然后在 “应用程序” 选项卡上选择 “实时处理数据”。
在 Managed Service for Apache Flink控制台中,选择 Studio 选项卡,然后选择创建 Studio 笔记本 。
有关教程,请参阅使用 Managed Service for Apache Flink 进行事件检测
有关更高级的 Studio 笔记本解决方案的示例,请参阅 Amazon Managed Service for Apache Flink Studio 上的 Apache Flink