应用程序支持和限制 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

应用程序支持和限制

支持的应用程序

在 Amazon EMR 和 Apache Ranger 的集成中,EMR 安装了 Ranger 插件,目前支持以下应用程序:

  • Apache Spark(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • Apache Hive(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • 通过 EMRFS 访问 S3(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

以下应用程序可以安装在 EMR 集群上,并且可能需要进行配置以满足您的安全需求:

  • Apache Hadoop(适用于 EMR 5.32 和 EMR 6.3 及更高版本,包括 YARN 和 HDFS)

  • Apache Livy(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • Apache Zeppelin(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • Apache Hue(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • Tez(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • Ganglia(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • ZooKeeper(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • MXNet(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • Mahout(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • HCatalog(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

  • TensorFlow(适用于 EMR 5.32 和 EMR 6.3 及更高版本)

重要

上面列出的应用程序是目前唯一支持的应用程序。为了确保集群安全,启用 Apache Ranger 后,允许您仅使用上述列表中的应用程序创建 EMR 集群。

当前不支持其他应用程序。为了确保集群的安全性,尝试安装其他应用程序会导致您的集群被拒绝。

支持的功能

以下 Amazon EMR 功能可用于 Amazon EMR 和 Apache Ranger:

  • 静态和动态加密

  • Kerberos 身份验证(必需)

  • 实例组、实例机群和 Spot 实例

  • 在运行中的集群上重新配置应用程序

  • EMRFS 服务器端加密(SSE)

注意

Amazon EMR 加密设置控制 SSE。有关更多信息,请参阅加密选项

应用程序限制

集成 Amazon EMR 和 Apache Ranger 时,需要记住几个限制:

  • 您当前无法使用控制台创建指定 Amazon GovCloud (US) Region 中的 Amazon Ranger 集成选项的安全配置 可以使用 CLI 完成安全配置。

  • Kerberos 必须安装在您的集群上。

  • 默认情况下,YARN 资源管理器 UI、HDFS NameNode UI 和 Livy UI 等应用程序 UI(用户界面)未设置身份验证。

  • 配置了 HDFS 默认权限 umask,以便创建的对象默认设置为 world wide readable

  • 有关其他限制,请参阅每个应用程序的限制。

注意

Amazon EMR 加密设置控制 SSE。有关更多信息,请参阅加密选项