EMRFS S3 插件

为了更轻松地为多租户集群上的 S3 中的对象提供访问控制，EMRFS S3 插件在通过 EMRFS 访问 S3 中的数据时提供对这些数据的访问控制。您可以允许在用户和组级别访问 S3 资源。

为此，当您的应用程序尝试访问 S3 中的数据时，EMRFS 会向私有代理进程发送凭证请求，在该进程中该请求针对 Apache Ranger 插件进行身份验证和授权。如果请求获得授权，则私有代理将代入 Apache Ranger Engines 的 IAM 角色，并使用受限策略生成仅有权访问允许访问的 Ranger 策略的凭证。然后，凭证将传回 EMRFS 以访问 S3。

支持的特征

EMRFS S3 插件提供存储级别授权。可以创建策略，以便向用户和组提供对 S3 存储桶和前缀的访问权限。授权仅针对 EMRFS 进行。

安装服务配置

要安装 EMRFS 服务定义，必须设置 Ranger 管理服务器。要设置服务器，请参阅设置 Ranger 管理服务器。

按照以下步骤安装 EMRFS 服务定义。

步骤 1：SSH 进入 Apache Ranger Admin 服务器。

例如：

ssh ec2-user@ip-xxx-xxx-xxx-xxx.ec2.internal

步骤 2：下载 EMRFS 服务定义。

在临时目录中，下载 Amazon EMR 服务定义。此服务定义由 Ranger 2.x 版本支持。

wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-servicedef-amazon-emr-emrfs.json

步骤 3：注册 EMRFS S3 服务定义。

curl -u *<admin users login>*:*_<_**_password_ **_for_** _ranger admin user_**_>_* -X POST -d @ranger-servicedef-amazon-emr-emrfs.json \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-k 'https://*<RANGER SERVER ADDRESS>*:6182/service/public/v2/api/servicedef'

如果此命令成功运行，您会在 Ranger Admin UI 中看到一个名为“AMAZON-EMR-S3”的新服务，如下图所示（显示 Ranger 2.0 版）。

步骤 4：创建 AMAZON-EMR-EMRFS 应用程序的实例。

创建服务定义的实例。

填写以下字段：

Service Name (服务名称)（如果显示）：建议的值为 amazonemrspark。请记下此服务名称，创建 EMR 安全配置时将要用到。

显示名称：为此服务显示的名称。建议的值为 amazonemrspark。

Common Name For Certificate (凭证的公用名称)：凭证中的 CN 字段，用于从客户端插件连接到管理服务器。此值必须与为插件创建的 TLS 证书中的 CN 字段匹配。

创建服务时，服务管理器包含“AMAZON-EMR-EMRFS”，如下图所示。

创建 EMRFS S3 策略

要创建新策略，请在服务管理器的 Create Policy（创建策略）页面填写以下字段。

Policy Name (策略名称)：此策略的名称。

Policy Label (策略标注)：您可以在此策略上放置的标注。

S3 Resource (S3 资源)：以存储桶和可选前缀开头的资源。有关最佳实践的信息，请参阅EMRFS S3 策略使用说明。Ranger Admin 服务器中的资源不应包含 s3://、s3a:// 或 s3n://。

您可以指定要授予权限的用户和组。您还可以指定 allow（允许）条件和 deny（拒绝）条件的排除项。

EMRFS S3 策略使用说明

在 Apache Renger 中创建 S3 策略时，需要谨记一些使用注意事项。

对多个 S3 对象的权限

您可以使用递归策略和通配符表达式为具有公共前缀的多个 S3 对象授予权限。递归策略为所有具有公共前缀的对象授予权限。通配符表达式选择多个前缀。它们共同为具有多个公共前缀的所有对象授予权限，如以下示例所示。

s3://sales-reports/americas/
    +- year=2000
    |      +- data-q1.parquet
    |      +- data-q2.parquet
    +- year=2019
    |      +- data-q1.json
    |      +- data-q2.json
    |      +- data-q3.json
    |      +- data-q4.json
    |
    +- year=2020
    |      +- data-q1.parquet
    |      +- data-q2.parquet
    |      +- data-q3.parquet
    |      +- data-q4.parquet
    |      +- annual-summary.parquet    
    +- year=2021

- S3 resource = "sales-reports/americas/year=2000"
- permission = "GetObject"
- user = "analyst"

- S3 resource = "sales-reports/americas/year=2020/*"
- permission = "GetObject"
- user = "analyst"

 - S3 resource = "sales-reports/americas/year=2020"
 - permission = "GetObject"
 - user = "analyst"
 - is recursive = "True"

 - S3 resource = "sales-reports/americas/year=20?0"
 - permission = "GetObject"
 - user = "analyst"
 - is recursive = "True"

策略PutObject 和 DeleteObject 权限

为 EMRFS 上的文件编写策略PutObject和DeleteObject权限需要特别小心，因为与 GetObject权限不同，它们需要向前缀授予额外的递归权限。

- S3 resource = "sales-reports/americas/year=2020/annual-summary.parquet"
- permission = "DeleteObject"
- user = "analyst"

- S3 resource = "sales-reports/americas/year=2020/annual-summary.parquet"
- permission = "PutObject"
- user = "analyst"

- S3 resource = "sales-reports/americas/year=2020"
- permission = "GetObject"
- user = "analyst"
- is recursive = "True"

策略中的通配符

有两个区域可以指定通配符。指定 S3 资源时，可以使用“*”和“?”。“*”提供针对 S3 路径的匹配，并匹配前缀后的所有内容。例如以下策略。

S3 resource = "sales-reports/americas/*"

这与以下 S3 路径匹配。

sales-reports/americas/year=2020/
sales-reports/americas/year=2019/
sales-reports/americas/year=2019/month=12/day=1/afile.parquet 
sales-reports/americas/year=2018/month=6/day=1/afile.parquet 
sales-reports/americas/year=2017/afile.parquet

“?”通配符匹配任意单个字符。例如，策略。

S3 resource = "sales-reports/americas/year=201?/"

这与以下 S3 路径匹配。

sales-reports/americas/year=2019/
sales-reports/americas/year=2018/
sales-reports/americas/year=2017/

用户中的通配符

为用户分配访问权限时，有两个内置通配符。第一个是为所有用户提供访问权限的“{USER}”通配符。第二个通配符是“{HOSTER}”，它提供对特定对象所有者的访问权限或直接访问权限。但是，目前尚不支持“{USER}”通配符。

限制

以下是 EMRFS S3 插件的当前限制：