以编程方式执行 EMR Notebooks 的示例命令 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

以编程方式执行 EMR Notebooks 的示例命令

可以使用 EMR Notebooks 执行 API 通过脚本或命令行来执行 EMR Notebooks。无需使用Amazon控制台以编程方式控制 EMR Notebooks,即可启动、停止、列出和描述 EMR Notebooks 执行。借助参数化笔记本单元,您可以将不同的参数值传递给笔记本,而无需为每组新参数值创建笔记本副本。请参阅 EMR API 操作

可以使用 Amazon CloudWatch Events 和 Amazon Lambda 计划或批量处理 EMR Notebooks 执行。请参阅将 Amazon Lambda 与 Amazon CloudWatch Events 结合使用

本节提供了几个使用 Amazon CLI、Boto3 SDK(Python)和 Ruby 执行编程式 EMR Notebooks 的示例。

笔记本执行 CLI 命令示例

笔记本执行 Python 示例

笔记本执行 Ruby 示例

您还可以使用编排工具(例如 Apache Airflow 或 Amazon Managed Workflows for Apache Airflow)将参数化笔记本作为计划工作流的一部分运行。有关更多信息,请参阅Amazon大数据博客中的 Orchestrating analytics jobs on EMR Notebooks using MWAA

限制:

  • 每个账户每个区域最多允许 100 个并发执行。

  • 如果运行超过 30 天,则终止执行。