Amazon EMR 组件 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

Amazon EMR 组件

Amazon EMR 通过以下组件支持 Apache Ranger 的精细访问控制。有关这些 Amazon EMR 组件与 Apache Ranger 插件的可视化表示,请参阅架构图

私有代理 – 私有代理安全存储密钥并将密钥分发到其他 Amazon EMR 组件或应用程序。密钥可以包括临时用户凭证、加密密钥或 Kerberos 票证。私有代理在集群中的每个节点上运行并拦截对实例元数据服务的调用。对于对实例配置文件角色凭证的请求,在使用 EMRFS S3 Ranger 插件授权请求后,私有代理根据请求用户和请求的资源提供凭证。私有代理以 emrsecretagent 用户身份运行,将日志写入 /emr/secretagent/log 目录。该过程依赖于一组特定 iptables 规则来发挥作用。务必要确保 iptables 没有被禁用。如果您自定义 iptables 配置,则必须保留 NAT 表规则并保持不变。

EMR 记录服务器 – 记录服务器接收从 Spark 访问数据的请求。然后,它通过将请求的资源转发到适用于 Amazon EMR 的 Spark Ranger 插件来授权请求。记录服务器从 Amazon S3 读取数据,并根据 Ranger 策略返回用户有权访问的筛选数据。记录服务器作为 emr_record_server 用户在集群中的每个节点上运行,并将日志写入 /var/log/emr-record-server 目录。