Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

运行 EMR Serverless 作业时使用 Spark 配置

您可以在 type 参数设置为 SPARK 的情况下在应用程序上运行 Spark 作业。作业必须与适用于 Amazon EMR 发行版的 Spark 版本兼容。例如，当您在 Amazon EMR 发行版 6.6.0 上运行作业时，作业必须与 Apache Spark 3.2.0 兼容。有关每个发行版的应用程序版本信息，请参阅 Amazon EMR Serverless 发行版。

Spark 作业参数

使用 StartJobRun API 运行 Spark 作业时，请指定以下参数。

Spark 作业运行时角色

使用 executionRoleArn 指定应用程序用来执行 Spark 作业的 IAM 角色 ARN。此角色必须具有以下权限：

如果 Spark 作业从/向其他数据来源读取/写入数据，请在此 IAM 角色中指定相应的权限。如果不向 IAM 角色提供这些权限，作业可能会失败。有关更多信息，请参阅 Amazon EMR Serverless 的作业运行时角色 和 存储日志。

Spark 作业驱动程序参数

使用 jobDriver 为作业提供输入。对于要运行的作业类型，作业驱动程序参数只接受一个值。对于 Spark 作业，参数值为 sparkSubmit。您可以使用此作业类型通过 Spark 提交运行 Scala、Java、PySpark 以及任何其他支持的作业。Spark 作业具有以下参数：

有关更多信息，请参阅使用 spark-submit 启动应用程序。

Spark 配置覆盖参数

使用 configurationOverrides 覆盖监控级别和应用程序级别配置属性。该参数接受包含以下两个字段的 JSON 对象：

如果在应用程序覆盖和 Spark 提交参数中使用相同的配置，则 Spark 提交参数优先。配置按优先级从高到低排列如下：

有关在应用程序级别声明配置以及在作业运行期间覆盖配置的更多信息，请参阅 EMR Serverless 的默认应用程序配置。

Spark 动态资源分配优化

使用 dynamicAllocationOptimization 优化 EMR Serverless 中的资源使用情况。在 Spark 配置分类中将此属性设置为 true 表示 EMR Serverless 需要优化执行程序资源分配，以便 Spark 请求和取消执行程序的速率与 EMR Serverless 创建和释放工作线程的速率更好地保持一致。这样，EMR Serverless 可以更好地跨阶段重用工作线程，从而在运行多阶段作业时降低成本，同时性能保持不变。

此属性适用于所有 Amazon EMR 发行版。

以下是使用 dynamicAllocationOptimization 进行配置分类的示例。

[
  {
    "Classification": "spark",
    "Properties": {
      "dynamicAllocationOptimization": "true"
    }
  }
]

如果使用动态分配优化，请考虑以下几点：

Spark 作业属性

下表列出了提交 Spark 作业时可以覆盖的可选 Spark 属性及其默认值。

下表列出了默认的 Spark 提交参数。

资源配置最佳实践

通过 StartJobRun API 配置驱动程序和执行程序资源

通过这种方式配置资源可确保 EMR Serverless 在运行作业之前分配正确的资源。这与用户脚本中提供的设置（例如 .py 或 .jar 文件）形成对比，这些设置评估得太晚，因为驱动程序和执行程序工作线程有时会在脚本执行开始之前预置。在提交作业时，可通过两种受支持的方式配置这些资源：

选项 1：使用 sparkSubmitParameters

"jobDriver": {
 "sparkSubmit": {
    "entryPoint": "s3://your-script-path.py",
    "sparkSubmitParameters": "—conf spark.driver.memory=4g \
    —conf spark.driver.cores=2 \
    —conf spark.executor.memory=8g \
    —conf spark.executor.cores=4"
  }
 }

选项 2：使用 configurationOverrides 进行 spark-defaults 分类

"configurationOverrides": {
 "applicationConfiguration": [
 {
 "classification": "spark-defaults",
 "properties": {
     "spark.driver.memory": "4g",
     "spark.driver.cores": "2",
     "spark.executor.memory": "8g",
     "spark.executor.cores": "4"
      }
    }
  ]
 }

Spark 示例

下面的示例展示了如何使用 StartJobRun API 运行 Python 脚本。有关使用此示例的端到端教程，请参阅开始使用 Amazon EMR Serverless。有关如何运行 PySpark 作业并添加 Python 依赖项，请在 EMR Serverless Samples GitHub 存储库中查找。

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py",
            "entryPointArguments": ["s3://amzn-s3-demo-destination-bucket/wordcount_output"],
            "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
        }
    }'

下面的示例展示了如何使用 StartJobRun API 运行 Spark JAR。

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
            "entryPointArguments": ["1"],
            "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
        }
    }'