将 Amazon EMR 与 Apache Ranger 结合使用的注意事项
将 Amazon EMR 与 Apache Ranger 结合使用时支持的应用程序
在 Amazon EMR 和 Apache Ranger 的集成中,EMR 安装了 Ranger 插件,目前支持以下应用程序:
-
Apache Spark(适用于 EMR 5.32 和 EMR 6.3 及更高版本)
-
Apache Hive(适用于 EMR 5.32 和 EMR 6.3 及更高版本)
-
通过 EMRFS 访问 S3(适用于 EMR 5.32 和 EMR 6.3 及更高版本)
以下应用程序可以安装在 EMR 集群上,并且可能需要进行配置以满足您的安全需求:
-
Apache Hadoop(适用于 EMR 5.32 和 EMR 6.3 及更高版本,包括 YARN 和 HDFS)
-
Apache Livy(适用于 EMR 5.32 和 EMR 6.3 及更高版本)
-
Apache Zeppelin(适用于 EMR 5.32 和 EMR 6.3 及更高版本)
-
Apache Hue(适用于 EMR 5.32 和 EMR 6.3 及更高版本)
-
Ganglia(适用于 EMR 5.32 和 EMR 6.3 及更高版本)
-
HCatalog(适用于 EMR 5.32 和 EMR 6.3 及更高版本)
-
Mahout(适用于 EMR 5.32 和 EMR 6.3 及更高版本)
-
MXNet(适用于 EMR 5.32 和 EMR 6.3 及更高版本)
-
TensorFlow(适用于 EMR 5.32 和 EMR 6.3 及更高版本)
-
Tez(适用于 EMR 5.32 和 EMR 6.3 及更高版本)
-
Trino(可用于 EMR 6.7 及更高版本)
-
ZooKeeper(适用于 EMR 5.32 和 EMR 6.3 及更高版本)
重要
上面列出的应用程序是目前唯一支持的应用程序。为了确保集群安全,启用 Apache Ranger 后,允许您仅使用上述列表中的应用程序创建 EMR 集群。
当前不支持其它应用程序。为了确保集群的安全性,尝试安装其他应用程序会导致您的集群被拒绝。
不支持 Amazon Glue Data Catalog 以及 Apache Hudi、Delta Lake 和 Apache Iceberg 等开放表格式。
Apache Ranger 支持的 Amazon EMR 功能
将 Amazon EMR 与 Apache Ranger 结合使用时,支持以下 Amazon EMR 功能:
-
静态和动态加密
-
Kerberos 身份验证(必需)
-
实例组、实例集和竞价型实例
-
在运行中的集群上重新配置应用程序
-
EMRFS 服务器端加密(SSE)
注意
Amazon EMR 加密设置控制 SSE。有关更多信息,请参阅加密选项。
应用程序限制
集成 Amazon EMR 和 Apache Ranger 时,需要记住几个限制:
-
您当前无法使用控制台创建指定 Amazon GovCloud (US) Region 中的 Amazon Ranger 集成选项的安全配置 可以使用 CLI 完成安全配置。
-
Kerberos 必须安装在您的集群上。
-
默认情况下,YARN 资源管理器 UI、HDFS NameNode UI 和 Livy UI 等应用程序 UI(用户界面)未设置身份验证。
-
配置了 HDFS 默认权限
umask,以便创建的对象默认设置为world wide readable。 -
Amazon EMR 不支持 Apache Ranger 的高可用性(多主)模式。
-
有关其他限制,请参阅各个应用程序的具体限制。
注意
Amazon EMR 加密设置控制 SSE。有关更多信息,请参阅加密选项。
插件限制
每个插件都有特定的限制。有关 Apache Hive 插件的限制,请参阅 Apache Hive 插件限制。有关 Apache Spark 插件的限制,请参阅 Apache Spark 插件限制。有关 EMRFS S3 插件的限制,请参阅 EMRFS S3 插件限制。