注意事项和限制
Apache Spark 版本 3.5
以下是 Apache Spark 3.5 发行版的注意事项和限制：
-
此发行版本在以下 Amazon Web Services 区域中可用：
-
亚太地区（孟买）
-
亚太地区（首尔）
-
亚太地区（新加坡）
-
亚太地区（悉尼）
-
亚太地区（东京）
-
加拿大（中部）
-
欧洲地区（法兰克福）
-
欧洲地区（爱尔兰）
-
欧洲地区（伦敦）
-
欧洲地区（巴黎）
-
欧洲地区（斯德哥尔摩）
-
南美洲（圣保罗）
-
美国东部（弗吉尼亚州北部）
-
美国东部（俄亥俄州）
-
美国西部（俄勒冈州）
-
-
此引擎版本不支持 Athena 控制台内笔记本或笔记本 API。相反地，此版本与 Amazon SageMaker AI 融通式合作开发工作室笔记本集成。您也可以使用兼容的 Spark Connect 客户端。
-
此版本不支持计算 API：
StartCalculationExecution、ListCalculationExecutions和GetCalculationExecution。 -
您无法将工作组从 PySpark 引擎版本 3 升级到 Apache Spark 版本 3.5。
Pyspark 引擎版本 3
以下是 Pyspark 引擎 3 发行版的注意事项和限制：
-
此发行版本在以下 Amazon Web Services 区域中可用：
-
亚太地区（孟买）
-
亚太地区（新加坡）
-
亚太地区（悉尼）
-
亚太地区（东京）
-
欧洲地区（法兰克福）
-
欧洲地区（爱尔兰）
-
美国东部（弗吉尼亚州北部）
-
美国东部（俄亥俄州）
-
美国西部（俄勒冈州）
-
-
不支持 Amazon Lake Formation。
-
不支持使用分区投影的表。
-
启用 Apache Spark 的工作组可以使用 Athena 笔记本编辑器，但不能使用 Athena 查询编辑器。只有 Athena SQL 工作组可以使用 Athena 查询编辑器。
-
不支持跨引擎视图查询。Athena for Spark 无法查询 Athena SQL 创建的视图。由于这两个引擎的视图实现方式不同，因此它们与跨引擎使用不兼容。
-
不支持 MLlib（Apache Spark 机器学习库）和
pyspark.ml包。有关支持的 Python 库列表，请参阅 预安装的 Python 库列表。 -
目前，Athena for Spark 会话不支持
pip install。 -
每个笔记本电脑实例只允许一个活动会话。
-
当多个用户使用控制台打开工作组中的一个现有会话时，他们将访问同一个笔记本电脑实例。为避免混淆，请仅打开您自己创建的会话。
-
可能与 Amazon Athena 配合使用的 Apache Spark 应用程序的托管域（例如
analytics-gateway.us-east-1.amazonaws.com）已注册到互联网公共后缀列表（PSL）。如果需要在域中设置敏感 Cookie，建议您使用带有 __Host-前缀的 Cookie 来帮助保护自己的域免受跨站点请求伪造（CSRF）攻击。要了解更多信息，请参阅 Mozilla.org 开发人员文档中的 Set-Cookie页面。 -
有关对 Athena 中 Spark 笔记本、会话和工作组问题进行故障排除的信息，请参阅 对 Athena for Spark 进行故障排除。