Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 Amazon AWS 入门

启用一致视图

您可使用 AWS 管理控制台 和 AWS CLI emrfs-site 配置分类为 EMRFS 启用 Amazon S3 服务器端加密或者一致视图。

使用控制台配置一致视图

  1. 通过以下网址打开 Amazon EMR 控制台:https://console.amazonaws.cn/elasticmapreduce/

  2. Choose Create cluster, Go to advanced options.

  3. 选择 Step 1: Software and Steps (步骤 1: 软件和步骤)Step 2: Hardware (步骤 2: 硬件) 的设置。

  4. 对于 Step 3: General Cluster Settings (步骤 3: 常规集群设置),在 Additional Options (附加选项) 下选择 EMRFS consistent view (EMRFS 一致视图)

  5. 对于 EMRFS Metadata store (EMRFS 元数据存储),键入您的元数据存储的名称。默认值为 EmrFSMetadata。如果 EmrFSMetadata 表不存在,则在 DynamoDB 中为您创建它。

    注意

    集群终止时,Amazon EMR 不会自动从 DynamoDB 中删除 EMRFS 元数据。

  6. 对于 Number of retries (重试次数),键入一个整数值。如果检测到不一致,EMRFS 会尝试进行此次数的 Amazon S3 调用。默认值为 5

  7. 对于 Retry period (in seconds) (重试期间 (秒)),键入一个整数值。这是 EMRFS 在重试尝试之间等待的时间量。默认值为 10

    注意

    后续重试会使用指数退避。

使用 AWS CLI 启动一个启用一致视图的集群

建议您安装最新版本的 AWS CLI。要下载最新版本,请参阅 http://www.amazonaws.cn//cli/

  • 注意

    包含了 Linux 行继续符 (\) 以提高可读性。可以在 Linux 命令中删除或使用它们。对于 Windows,请删除它们或将其替换为脱字号 (^)。

    aws emr create-cluster --instance-type m4.large --instance-count 3 --emrfs Consistent=true \ --release-label emr-5.20.0 --ec2-attributes KeyName=myKey

使用 AWS 管理控制台检查是否启用了一致视图

  • 要在控制台中检查是否启用了一致视图,请导航到 Cluster List (集群列表),然后选择您的集群名称以查看 Cluster Details (集群详细信息)。“EMRFS consistent view (EMRFS 一致视图)”字段的值为 Enabled (已启用) 或 Disabled (已禁用)。

通过检查 emrfs-site.xml 文件查看是否启用了一致视图

  • 您可以通过检查集群主节点上的 emrfs-site.xml 配置文件,来查看是否启用了一致性。如果 fs.s3.consistent 的布尔值设置为 true,则表示已为涉及 Amazon S3 的文件系统操作启用了一致视图。