创建 Studio 笔记本 - Managed Service for Apache Flink
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建 Studio 笔记本

Studio 笔记本包含用 Python 或 Scala 编写的查询或程序,这些查询或程序在流数据上运行并返回分析结果。SQL您可以使用控制台或创建应用程序CLI,并提供查询以分析来自您的数据源的数据。

您的应用程序具有以下组件:

  • 数据源,例如亚马逊MSK集群、Kinesis 数据流或 Amazon S3 存储桶。

  • 一个 Amazon Glue 数据库。此数据库包含用于存储您的数据源、目标架构和端点的表。有关更多信息,请参阅 与... 一起工作 Amazon Glue

  • 您的应用程序代码。您的代码实现了您的分析查询或程序。

  • 您的应用程序设置和运行时系统属性。有关应用程序设置和运行时系统属性的信息,请参阅 Apache Flink 应用程序开发人员指南中的下列主题:

    • 应用程序并行度和扩展:您可以使用应用程序的 Parallelism 设置来控制应用程序可以同时执行的查询数量。如果您的查询有多个执行路径,则还可以利用更高的并行度,例如在以下情况下:

      • 处理 Kinesis 数据流的多个分片时

      • 使用KeyBy运算符对数据进行分区时。

      • 使用多个窗口运算符时

      有关应用程序扩展的更多信息,请参阅 Managed Service for Apache Flink

    • 日志和监控:有关应用程序日志和监控的信息,请参阅 Amazon Managed Service for Apache Flink 中的日志记录和监控 Apache Flinkhttps://docs.amazonaws.cn/managed-flink/latest/java/monitoring-overview.html

    • 您的应用程序使用检查点和保存点来实现容错。Studio 笔记本默认不启用检查点和保存点。

您可以使用 Amazon Web Services Management Console 或创建 Studio 笔记本 Amazon CLI。

从控制台创建应用程序时,您可以选择以下选项:

  • 在 Amazon MSK 控制台中,选择您的集群,然后选择实时处理数据

  • 在 Kinesis Data Streams 控制台中,选择您的数据流,然后在 “应用程序” 选项卡上选择 “实时处理数据”。

  • 在 Managed Service for Apache Flink控制台中,选择 Studio 选项卡,然后选择创建 Studio 笔记本

有关教程,请参阅使用 Managed Service for Apache Flink 进行事件检测

有关更高级的 Studio 笔记本解决方案的示例,请参阅 Amazon Managed Service for Apache Flink Studio 上的 Apache Flink