Amazon EMR
Amazon EMR 版本指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 Amazon AWS 入门

Command Runner

许多脚本或程序位于外壳登录路径环境中,因此您无需在使用 command-runner.jar 执行脚本或程序时指定完整路径。您也无需知道 command-runner.jar 的完整路径。command-runner.jar 位于 AMI 上,因此无需知道完整 URI,这与 script-runner.jar 的情况相同。

以下是可使用 command-runner.jar 执行的脚本的列表:

hadoop-streaming

提交 Hadoop 流程序。在控制台和一些开发工具包中,这是流步骤。

hive-script

运行 Hive 脚本。在控制台和开发工具包中,这是 Hive 步骤。

pig-script

运行 Pig 脚本。在控制台和开发工具包中,这是 Pig 步骤。

spark-submit

运行 Spark 应用程序。在控制台中,这是 Spark 步骤。

s3-dist-cp

将大量数据从 Amazon S3 分布式复制到 HDFS。

hadoop-lzo

在目录上运行 Hadoop LZO 索引器。

以下是使用 AWS CLI 的 command-runner.jar 的使用情况的示例:

aws emr add-steps --cluster-id j-2AXXXXXXGAPLF --steps Name="Command Runner",Jar="command-runner.jar",Args=["spark-submit","Args..."]