教程：Amazon EMR 入门

登录 Amazon Web Services Management Console 并打开 Amazon EMR 控制台，网址为 https://console.aws.amazon.com/emr。

在左侧导航窗格中的 EMR on EC2 下，选择 Clusters（集群），然后选择 Create cluster（创建集群）。

在 Create Cluster（创建集群）页面上，记下 Release（发行版）、Instance type（实例类型）、Number of instances（示例数量）和 Permissions（权限）的默认值。这些字段使用适用于通用型集群的值自动填充。

在 Cluster name（集群名称）字段中，输入唯一的集群名称以帮助您识别集群，例如我的第一个集群。集群名称不能包含字符 <、>、$、| 或 `（反引号）。

在 Applications (应用程序) 下，选择 Spark 选项以在集群上安装 Spark。

在 Cluster logs（集群日志）下，选中 Publish cluster-specific logs to Amazon S3（将集群特定日志发布到 Amazon S3）复选框。将 Amazon S3 location（Amazon S3 位置）值替换为您创建的 Amazon S3 存储桶，后跟 /logs。例如，s3://amzn-s3-demo-bucket/logs。添加 /logs 会在存储桶中创建一个名为“logs”的新文件夹，Amazon EMR 可以从中复制集群的日志文件。

在 Security configuration and permissions（安全配置和权限）下，选择您的 EC2 key pair（EC2 密钥对）。在同一部分中，选择 Service role for Amazon EMR（适用于 Amazon EMR 的服务角色）下拉菜单，然后选择 EMR_DefaultRole。然后，选择 IAM role for instance profile（实例配置文件的 IAM 角色）下拉菜单并选择 EMR_EC2_DefaultRole。

选择 Create cluster（创建集群）以启动集群并打开集群详细信息页面。

找到集群名称旁边的集群 Status (状态)。Amazon EMR 预制集群过程中，状态会从 Starting (正在启动) 变为 Running (正在运行) 再变为 Waiting (正在等待)。您可能需要选择右侧的刷新图标或刷新您的浏览器才能查看状态更新情况。

创建 IAM 原定设置角色，然后您可以使用该角色通过以下命令创建集群。

aws emr create-default-roles

有关 create-default-roles 的更多信息，请参阅 Amazon CLI 命令参考。

使用以下命令创建 Spark 集群。使用 --name 选项为您的集群输入一个名称，并使用 --ec2-attributes 选项指定您的 EC2 密钥对的名称。

aws emr create-cluster \
--name "<My First EMR Cluster>" \
--release-label <emr-5.36.2> \
--applications Name=Spark \
--ec2-attributes KeyName=<myEMRKeyPairName> \
--instance-type m5.xlarge \
--instance-count 3 \
--use-default-roles						

请注意 --instance-type、--instance-count 和 --use-default-roles 的其它必需值。这些值是为通用型集群选择的。有关 create-cluster 的更多信息，请参阅 Amazon CLI 命令参考。

将会看到类似下面的输出。输出将显示新集群的ClusterId和ClusterArn。记下您的ClusterId。您可以使用ClusterId检查集群状态并提交工作。

{
    "ClusterId": "myClusterId",
    "ClusterArn": "myClusterArn"
}						

使用以下命令检查集群状态。

aws emr describe-cluster --cluster-id <myClusterId>						

您应看到类似下面的输出，可以使用Status对象适用于新集群。

{
    "Cluster": {
        "Id": "myClusterId",
        "Name": "My First EMR Cluster",
        "Status": {
            "State": "STARTING",
            "StateChangeReason": {
                "Message": "Configuring cluster software"
            }
        }
     }
}					

在 Amazon EMR 预置集群时，State值从STARTING变为RUNNING，再变为WAITING。

登录 Amazon Web Services Management Console 并打开 Amazon EMR 控制台，网址为 https://console.aws.amazon.com/emr。

在左侧导航窗格中的 EMR on EC2 下，选择 Clusters（集群），然后选择要提交工作的集群。集群状态必须为 Waiting (正在等待)。

选择 Steps（步骤）选项卡，然后选择 Add step（添加步骤）。

根据以下准则配置步骤：

选择 Add (添加) 以提交步骤。该步骤应出现在控制台中，状态为 Pending (待处理)。

监控步骤状态。状态将从 Pending（待处理）变为 Running（正在运行）再变为 Completed（已完成）。要更新控制台中的状态，请选择 Filter（筛选条件）右侧的刷新图标。运行该脚本大约需要一分钟时间。步骤成功完成后，该状态将变为 Completed（已完成）。

确保您拥有在 启动 Amazon EMR 集群 中启动的集群的 ClusterId。您还可以使用以下命令检索集群 ID。

aws emr list-clusters --cluster-states WAITING							

通过 add-steps 命令和 ClusterId，将 health_violations.py 以步骤的形式提交。

aws emr add-steps \
--cluster-id <myClusterId> \
--steps Type=Spark,Name="<My Spark Application>",ActionOnFailure=CONTINUE,Args=[<s3://amzn-s3-demo-bucket/health_violations.py>,--data_source,<s3://amzn-s3-demo-bucket/food_establishment_data.csv>,--output_uri,<s3://amzn-s3-demo-bucket/MyOutputFolder>]							

有关使用 CLI 提交步骤的更多信息，请参阅 Amazon CLI 命令参考。

提交步骤后，您应该会看到包含 StepIds 的列表的输出，类似于下列内容。由于您提交了一个步骤，因此列表中只有一个 ID。复制步骤 ID。使用步骤 ID，检查步骤状态。

{
    "StepIds": [
        "s-1XXXXXXXXXXA"
    ]
}											

使用带有 describe-step 命令的步骤，查询步骤的状态。

aws emr describe-step --cluster-id <myClusterId> --step-id <s-1XXXXXXXXXXA>							

您应该会看到包含步骤相关内容的输出，类似于以下内容。

{
    "Step": {
        "Id": "s-1XXXXXXXXXXA",
        "Name": "My Spark Application",
        "Config": {
            "Jar": "command-runner.jar",
            "Properties": {},
            "Args": [
                "spark-submit",
                "s3://amzn-s3-demo-bucket/health_violations.py",
                "--data_source",
                "s3://amzn-s3-demo-bucket/food_establishment_data.csv",
                "--output_uri",
                "s3://amzn-s3-demo-bucket/myOutputFolder"
            ]
        },
        "ActionOnFailure": "CONTINUE",
        "Status": {
            "State": "COMPLETED"
        }
    }
}						

随着步骤的运行，步骤的 State 从 PENDING 变为 RUNNING，再变为 COMPLETED。运行该步骤大约需要一分钟，因此您可能需要多次检查状态。

登录 Amazon Web Services Management Console 并打开 Amazon EMR 控制台，网址为 https://console.aws.amazon.com/emr。

选择 Clusters（集群），然后选择要终止的集群。

在 Actions（操作）下拉菜单下，选择 Terminate cluster（终止集群）。

在对话框中选择 Terminate（终止）。根据集群配置，终止可能需要 5 至 10 分钟。有关如何终止 Amazon EMR 集群的更多信息，请参阅 终止处于启动、运行或等待状态的 Amazon EMR 集群。

使用以下命令启动集群终止过程。将 <myClusterId> 替换为示例集群 ID。命令不会返回输出。

aws emr terminate-clusters --cluster-ids <myClusterId>

要检查集群终止过程是否正在进行，请使用以下命令检查集群状态。

aws emr describe-cluster --cluster-id <myClusterId>									

以下是 JSON 格式的示例输出。集群 Status 应从 TERMINATING 更改为 TERMINATED。终止可能需要 5 到 10 分钟，具体取决于集群配置。有关终止 Amazon EMR 集群的更多信息，请参阅终止处于启动、运行或等待状态的 Amazon EMR 集群。

{
    "Cluster": {
        "Id": "j-xxxxxxxxxxxxx",
        "Name": "My Cluster Name",
        "Status": {
            "State": "TERMINATED",
            "StateChangeReason": {
                "Code": "USER_REQUEST",
                "Message": "Terminated by user request"
            }
        }
    }
}