应用程序支持和限制 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

应用程序支持和限制

受支持的应用程序

在 Amazon EMR 和 Apache Ranger 的集成中,EMR 安装了 Ranger 插件,目前支持以下应用程序:

  • Apache Spark(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • Apache Hive(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • 通过 EMRFS 访问 S3(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

以下应用程序可以安装在 EMR 集群上,并且可能需要进行配置以满足您的安全需求:

  • Apache Hadoop(适用于 EMR 5.32 和 EMR 6.3 及更高版本,包括 YARN 和 HDFS)

  • Apache Livy(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • Apache Zeppelin(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • Apache Hue(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • Ganglia(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • HCatalog(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • Mahout(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • MXNet(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • TensorFlow (适用于 EMR 5.32+ 和 EMR 6.3+)

  • Tez(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • Trino(可用于 EMR 6.7 及更高版本)

  • ZooKeeper (适用于 EMR 5.32+ 和 EMR 6.3+)

重要

上面列出的应用程序是目前唯一支持的应用程序。为了确保集群安全,启用 Apache Ranger 后,允许您仅使用上述列表中的应用程序创建 EMR 集群。

当前不支持其它应用程序。为了确保集群的安全性,尝试安装其它应用程序会导致您的集群被拒绝。

支持的功能

以下 Amazon EMR 功能可用于 Amazon EMR 和 Apache Ranger:

  • 静态和动态加密

  • Kerberos 身份验证(必需)

  • 实例组、实例集和竞价型实例

  • 在运行中的集群上重新配置应用程序

  • EMRFS 服务器端加密(SSE)

注意

Amazon EMR 加密设置控制 SSE。有关更多信息,请参阅加密选项

应用程序限制

集成 Amazon EMR 和 Apache Ranger 时,需要记住几个限制:

  • 您当前无法使用控制台创建在中指定 Amazon Ranger 集成选项的安全配置。 Amazon GovCloud (US) Region可以使用 CLI 完成安全配置。

  • Kerberos 必须安装在您的集群上。

  • 默认情况下,诸如 YARN 资源管理器用户界面、HDFS 用户界面和 Livy NameNode UI 之类的应用程序用户界面(用户界面)未设置身份验证。

  • 配置了 HDFS 默认权限 umask,以便创建的对象默认设置为 world wide readable

  • Amazon EMR 不支持 Apache Ranger 的高可用性(多主)模式。

  • 有关其他限制,请参阅各个应用程序的具体限制。

注意

Amazon EMR 加密设置控制 SSE。有关更多信息,请参阅加密选项

插件限制

每个插件都有特定的限制。有关 Apache Hive 插件的限制,请参阅 Apache Hive 插件限制。有关 Apache Spark 插件的限制,请参阅 Apache Spark 插件限制。有关 EMRFS S3 插件的限制,请参阅 EMRFS S3 插件限制