本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 什么是亚马逊 EMR 的 Apache Spark 升级代理
<a name="spark-upgrades"></a>

## 简介
<a name="emr-spark-upgrade-agent-intro"></a>

适用于亚马逊 EMR 的 Apache Spark 升级代理是一项对话式 AI 功能，可加速 EMR 应用程序的 Apache Spark 版本升级。传统的 Spark 升级需要数月的工程工作来分析 API 更改、解决依赖关系冲突和验证功能正确性。该代理通过自然语言提示、自动代码转换和数据质量验证来简化升级过程。

您可以使用代理升级在 EC2 上的 Amazon EMR PySpark 和 Amazon EMR Serverless 上运行的 Scala 应用程序。代理会分析您的代码，识别所需的更改，并执行自动转换，同时保持您对所有修改的审批控制。

**注意**  
作为 Amazon EMR 的一部分，Apache Spark 升级代理无需支付额外费用。您只需为验证任务执行期间使用的底层 Amazon EMR 资源付费。

## 架构概述
<a name="emr-spark-upgrade-agent-architecture"></a>

升级代理有三个主要组件：开发环境中用于交互的任何 MCP 兼容 AI 助手、用于处理客户端与 [MCP 服务器之间安全通信的 MCP 代理，以及为 Amazon](https://github.com/aws/mcp-proxy-for-aws)亚马逊 EMR 提供专用 Spark 升级工具的 Amazon SageMaker Unified Studio 托管 MCP 服务器（预览版）。此图表说明了您如何通过 AI Assistant 与 Amazon SageMaker Unified Studio 托管 MCP 服务器进行交互。

![Apache Spark 升级代理](http://docs.amazonaws.cn/emr/latest/ReleaseGuide/images/SparkUpgradeIntroduction.png)


AI 助手将按照以下步骤使用 MCP 服务器提供的专用工具来协调升级：

1. **规划**：代理分析您的项目结构，并生成或修改指导 end-to-end Spark升级过程的升级计划。

1. **编译和构建**：代理更新构建环境和依赖关系，编译项目，并以迭代方式修复构建和测试失败。

1. **Spark 代码编辑工具**：代理应用有针对性的代码更新来解决 Spark 版本不兼容问题，修复编译时和运行时错误。

1. **执行和验证**：代理向 EMR 提交远程验证作业，监控执行和日志，并以迭代方式修复运行时和数据质量问题。

1. **可观察性**：代理使用 EMR 可观测性工具跟踪升级进度，并允许用户随时查看升级分析和状态。

[使用 Spark 升级工具](emr-spark-upgrade-agent-tools.md)有关每个步骤的主要工具列表，请参阅。

**Topics**
+ [简介](#emr-spark-upgrade-agent-intro)
+ [架构概述](#emr-spark-upgrade-agent-architecture)
+ [升级代理的设置](emr-spark-upgrade-agent-setup.md)
+ [使用升级代理](emr-spark-upgrade-agent-using.md)
+ [特性和功能](emr-spark-upgrade-agent-features.md)
+ [疑难解答和问答](emr-spark-upgrade-agent-troubleshooting.md)
+ [Spark 升级代理工作流程详情](emr-spark-upgrade-agent-workflow-details.md)
+ [启用数据质量验证](emr-spark-upgrade-agent-data-quality-validation.md)
+ [Spark 升级代理的提示示例](emr-spark-upgrade-agent-prompt-examples.md)
+ [利用现有集群/EMR-S 应用程序创建目标 EMR 集群/EMR-S 应用程序](emr-spark-upgrade-agent-target-cluster.md)
+ [IAM 角色设置](emr-spark-upgrade-agent-iam-role.md)
+ [为亚马逊 SageMaker 统一工作室 MCP 配置接口 VPC 终端节点](spark-upgrade-agent-vpc-endpoints.md)
+ [使用 Spark 升级工具](emr-spark-upgrade-agent-tools.md)
+ [Apache Spark 升级代理的跨区域处理](emr-spark-upgrade-agent-cross-region.md)
+ [使用记录亚马逊 SageMaker 统一工作室 MCP 通话 Amazon CloudTrail](spark-upgrade-cloudtrail-integration.md)
+ [Apache Spark 代理的服务改进](emr-spark-agent-service-improvements.md)