使用以下方法增强内核 magic EMR工作室中的命令

概述

EMRStudio 和EMR笔记本电脑支持 magic 命令。Magic 命令，或 magics，是IPython内核为帮助您运行和分析数据而提供的增强功能。IPython是一个使用 Python 构建的交互式外壳环境。

亚马逊EMR还支持 Sparkmagic，一个包为与 Spark 相关的内核（、PySpark SparkR 和 Scala 内核）提供特定的 magic 命令并使用集群上的 Livy 提交 Spark 作业。

您可以使用 … magic 只要你的EMR笔记本里有 Python 内核，就可以使用命令。同样，任何与 Spark 相关的内核都支持 Sparkmagic 命令。

Magic 命令，也称为 magics，有两个品种：

全部可用 magics，请参阅列出 magic 以及 Sparkmagic 命令。

注意事项和限制

列出 magic 以及 Sparkmagic 命令

使用以下命令列出可用的 magic 命令：

使用 %%configure 来配置 Spark

最有用的之一 Sparkmagic %%configurecommands 是用于配置会话创建参数的命令。借助 conf 设置，您可以配置 Apache Spark 配置文档 中提及的任何 Spark 配置。

%%configure -f
{"conf": {
    "spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3",
    "spark.jars": "s3://amzn-s3-demo-bucket/my-jar.jar"
    }
}        

%%configure
{ "conf": {
     "spark.jars": "hdfs://apps/hudi/lib/hudi-spark-bundle.jar,hdfs:///apps/hudi/lib/spark-spark-avro.jar", 
     "spark.serializer": "org.apache.spark.serializer.KryoSerializer",
     "spark.sql.hive.convertMetastoreParquet":"false"
     }
}

使用 %%sh 运行 spark-submit

这些区域有：%%shmagic 在所连接集群的实例上的子进程中运行 shell 命令。通常，您需要使用其中一个 Spark 相关的内核在附加的集群上运行 Spark 应用程序。但是，如果你想使用 Python 内核提交 Spark 应用程序，你可以使用以下方法 magic，将存储桶名称替换为小写的存储桶名称。

%%sh
spark-submit --master yarn --deploy-mode cluster s3://amzn-s3-demo-bucket/test.py

在此示例中，集群需要访问 s3://amzn-s3-demo-bucket/test.py 的位置，否则该命令将失败。

你可以将任何 Linux 命令与 %%sh magic。 如果要运行任何 Spark 或YARN命令，请使用以下选项之一创建 emr-notebook Hadoop 用户并授予该用户运行命令的权限：

使用 %%display 可视化显示 Spark 数据框

你可以使用 %%display magic 来可视化 Spark 数据框。要使用这个 magic，运行以下命令。

%%display df

选择以表格格式查看结果，如下图所示。

您也可以选择使用五种类型的图表来可视化数据。您的选项包括饼图、散点图、折线图、面积图和条形图。

使用EMR笔记本电脑 magics

Amazon EMR 提供以下EMR笔记本电脑 magic所以你可以与基于 Python3 和基于 Spark 的内核一起使用：

先决条件

在安装EMR笔记本之前 magics，完成以下任务：

安装EMR笔记本电脑 magics

完成以下步骤安装EMR笔记本电脑 magic。

使用 %mount_workspace_dir 挂载 Workspace 目录

这些区域有：%mount_workspace_dirmagic 允许您将 Workspace 目录挂载到EMR集群上，以便可以导入和运行存储在目录中的其他文件、模块或包。

下面的示例将整个 Workspace 目录挂载到集群上，并指定可选的 <--fuse-type> 参数，以使用 goofys 挂载目录。

%mount_workspace_dir . <--fuse-type goofys>

要验证您的 Workspace 目录是否已挂载，请使用下面的示例，借助 ls 命令来显示当前的工作目录。输出结果应该显示 Workspace 中的所有文件。

%%sh
ls

在 Workspace 中完成更改后，可以使用下面的命令卸载 Workspace 目录：

%umount_workspace_dir

使用 %generate_s3_download_url 下载 Amazon S3 对象

该generate_s3_download_url命令为存储在 Amazon S3 中的对象创建预签名URL。您可以使用预签名URL将对象下载到本地计算机。例如，您可以运行generate_s3_download_url下载您的代码写入 Amazon S3 的SQL查询结果。

默认情况下，预签名的有效期URL为 60 分钟。您可以通过指定 --expires-in 标志的秒数来更改过期时间。例如，--expires-in 1800创建有效URL期为 30 分钟的。

下面的示例通过指定完整的 Amazon S3 路径来为对象生成下载链接：s3://EXAMPLE-DOC-BUCKET/path/to/my/object。

%generate_s3_download_url s3://EXAMPLE-DOC-BUCKET/path/to/my/object

要了解有关使用 generate_s3_download_url 的更多信息，请运行下面的命令以显示帮助文本。

%generate_s3_download_url?

使用 %execute_notebook 在无头模式下运行 Notebook

与 %execute_notebook magic，你可以在无头模式下运行另一台笔记本电脑，并查看你运行的每个单元的输出。该 magic 需要获得亚马逊EMR和亚马逊EC2共享的实例角色的额外权限。有关如何授予额外权限的更多信息，请运行命令 %execute_notebook?。

如果有长时间运行的任务，系统可能会因为不活动而进入睡眠状态，也可能暂时失去互联网连接。这可能会中断浏览器与 Jupyter 服务器之间的连接。如果出现这种情况，您可能会丢失自己运行的单元格和 Jupyter 服务器发送的单元格的输出内容。

如果你在无头模式下运行笔记本电脑 %execute_notebook magic，即使本地网络出现中断，N EMR otebook 也能捕获已运行的单元的输出。 EMRNotebooks 将输出以增量方式保存在与您运行的笔记本同名的新笔记本中。 EMR然后，笔记本将笔记本放到工作区内的新文件夹中。无头运行发生在同一个集群上并使用 EMR_Notebook_DefaultRole 服务角色，但其他参数可能会更改默认值。

要在无头模式下运行 Notebook，请使用以下命令：

%execute_notebook <relative-file-path>

要为无头运行指定集群 ID 和服务角色，请使用以下命令：

%execute_notebook <notebook_name>.ipynb --cluster-id <emr-cluster-id> --service-role <emr-notebook-service-role>

当亚马逊EMR和亚马逊EC2共享实例角色时，该角色需要以下额外权限：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "ec2:DescribeInstances"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::<AccoundId>:role/EMR_Notebooks_DefaultRole"
        }
    ]
}