使用 magic 命令增强内核

概述

EMR Studio 和 EMR Notebooks 支持 magic 命令。Magic 命令又称 magics，是 IPython 内核为帮助运行和分析数据而提供的增强功能。IPython 是用 Python 构建的交互式 Shell 环境。

Amazon EMR 还支持一个程序包Sparkmagic，该程序包为与 Spark 相关的内核（PySpark、SparkR 和 Scala 内核）提供magic特定命令，并在集群上使用 Livy 提交 Spark 任务。

只要您的 EMR Notebooks 中有 Python 内核，就可以使用 magic 命令。同样，任何与 Spark 相关的内核都支持 Sparkmagic 命令。

Magic 命令也称作 magics，共有两类：

有关所有可用的 magics，请参阅 列出 magic 和 Sparkmagic 命令。

注意事项和限制

列出 magic 和 Sparkmagic 命令

使用以下命令列出可用的 magic 命令：

使用 %%configure 来配置 Spark

Sparkmagic 最有用的命令之一是 %%configure 命令，该命令可配置会话创建参数。借助 conf 设置，您可以配置 Apache Spark 配置文档 中提及的任何 Spark 配置。

%%configure -f
{"conf": {
    "spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3",
    "spark.jars": "s3://DOC-EXAMPLE-BUCKET/my-jar.jar"
    }
}        

%%configure
{ "conf": {
     "spark.jars": "hdfs://apps/hudi/lib/hudi-spark-bundle.jar,hdfs:///apps/hudi/lib/spark-spark-avro.jar", 
     "spark.serializer": "org.apache.spark.serializer.KryoSerializer",
     "spark.sql.hive.convertMetastoreParquet":"false"
     }
}

使用 %%sh 运行 spark-submit

在附加的集群实例上，%%sh magic 会通过子进程来运行 Shell 命令。通常，您需要使用其中一个 Spark 相关的内核在附加的集群上运行 Spark 应用程序。但如果要使用 Python 内核提交 Spark 应用程序，可以使用以下 magic，并将存储桶名称替换为小写的储桶名称。

%%sh
spark-submit --master yarn --deploy-mode cluster s3://DOC-EXAMPLE-BUCKET/test.py

在此示例中，集群需要访问 s3://DOC-EXAMPLE-BUCKET/test.py 的位置，否则该命令将失败。

您可以将 %%sh magic 与任何 Linux 命令结合使用。如果您要运行任何 Spark 或 YARN 命令，请使用以下选项之一创建 emr-notebook Hadoop 用户，并授予用户运行这些命令的权限。

使用 %%display 可视化显示 Spark 数据框

您可以使用 %%display magic 来可视化显示 Spark 数据框。要使用此 magic，请运行以下命令。

%%display df

选择以表格格式查看结果，如下图所示。

您也可以选择使用五种类型的图表来可视化数据。您的选项包括饼图、散点图、折线图、面积图和条形图。

使用 EMR Notebooks magics

Amazon EMR 提供了以下 EMR Notebooks magics，您可以将这些命令用于 Python3 和基于 Spark 的内核：

先决条件

您需要完成以下任务后才能安装 EMR Notebooks magics：

安装 EMR Notebooks magics

完成以下步骤以安装 EMR Notebooks magics。

使用 %mount_workspace_dir 挂载 Workspace 目录

您可以借助 %mount_workspace_dir magic 将 Workspace 目录挂载到 EMR 集群上，以便您能导入和运行存储在目录中的其他文件、模块或程序包。

下面的示例将整个 Workspace 目录挂载到集群上，并指定可选的 <--fuse-type> 参数，以使用 goofys 挂载目录。

%mount_workspace_dir . <--fuse-type goofys>

要验证您的 Workspace 目录是否已挂载，请使用下面的示例，借助 ls 命令来显示当前的工作目录。输出结果应该显示 Workspace 中的所有文件。

%%sh
ls

在 Workspace 中完成更改后，可以使用下面的命令卸载 Workspace 目录：

%umount_workspace_dir

使用 %generate_s3_download_url 下载 Amazon S3 对象

generate_s3_download_url 命令可为存储在 Amazon S3 中的对象创建预签名 URL。您可以使用该预签名 URL 将对象下载到本地计算机。例如，您可以运行 generate_s3_download_url 下载代码写入 Amazon S3 的 SQL 查询的结果。

预设情况下，预签名 URL 的有效期为 60 分钟。您可以通过指定 --expires-in 标志的秒数来更改过期时间。例如，--expires-in 1800 创建一个有效期为 30 分钟的 URL。

下面的示例通过指定完整的 Amazon S3 路径来为对象生成下载链接：s3://EXAMPLE-DOC-BUCKET/path/to/my/object。

%generate_s3_download_url s3://EXAMPLE-DOC-BUCKET/path/to/my/object

要了解有关使用 generate_s3_download_url 的更多信息，请运行下面的命令以显示帮助文本。

%generate_s3_download_url?

使用 %execute_notebook 在无头模式下运行笔记本

您可以使用 %execute_notebook magic 在无头模式下运行另一个笔记本电脑实例，并查看运行的每个单元格的输出。此 magic 命令需要拥有 Amazon EMR 和 Amazon EC2 共享的实例角色的额外权限。有关如何授予额外权限的更多信息，请运行命令 %execute_notebook?。

如果有长时间运行的任务，系统可能会因为不活动而进入睡眠状态，也可能暂时失去互联网连接。这可能会中断浏览器与 Jupyter 服务器之间的连接。如果出现这种情况，您可能会丢失自己运行的单元格和 Jupyter 服务器发送的单元格的输出内容。

如果使用 %execute_notebook magic 在无头模式下运行笔记本电脑实例，即使本地网络出现中断，EMR Notebooks 也会捕获已运行单元格的输出。EMR Notebooks 将输出以增量方式保存在与您运行的笔记本同名的新笔记本中。然后，EMR Notebooks 将笔记本放入 Workspace 内的新文件夹。无头运行发生在同一个集群上并使用 EMR_Notebook_DefaultRole 服务角色，但其他参数可能会更改默认值。

要在无头模式下运行笔记本，请使用以下命令：

%execute_notebook <relative-file-path>

要为无头运行指定集群 ID 和服务角色，请使用以下命令：

%execute_notebook <notebook_name>.ipynb --cluster-id <emr-cluster-id> --service-role <emr-notebook-service-role>

当 Amazon EMR 和 Amazon EC2 共享一个实例角色时，该角色需要以下额外权限：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "ec2:DescribeInstances"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::<AccoundId>:role/EMR_Notebooks_DefaultRole"
        }
    ]
}