Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 Amazon AWS 入门

启用一致视图

您可以使用 AWS Management Console、AWS CLIemrfs-site配置分类配置其他设置。

使用控制台配置一致视图

  1. Open the Amazon EMR console at https://console.amazonaws.cn/elasticmapreduce/.

  2. Choose Create cluster, Go to advanced options.

  3. 选择 Step 1: Software and StepsStep 2: Hardware 的设置。

  4. 对于 Step 3: General Cluster Settings,在 Additional Options 下选择 EMRFS consistent view

  5. 对于 EMRFS Metadata store (EMRFS 元数据存储),键入您的元数据存储的名称。默认值是 EmrFSMetadata。如果 EmrFSMetadata 表不存在,则在 DynamoDB 中为您创建它。

    注意

    集群终止时,Amazon EMR 不会自动从 DynamoDB 中删除 EMRFS 元数据。

  6. 对于 Number of retries (重试次数),键入一个整数值。如果检测到不一致,EMRFS 会尝试进行此次数的 Amazon S3 调用。默认值是 5

  7. 对于 Retry period (in seconds) (重试期间(秒)),键入一个整数值。这是 EMRFS 在重试尝试之间等待的时间量。默认值是 10

    注意

    后续重试会使用指数退避。

使用 AWS CLI 启动一个启用一致视图的集群

建议您安装最新版本的 AWS CLI。要下载最新版本,请参阅 http://www.amazonaws.cn//cli/

  • 注意

    包含了 Linux 行继续符 (\) 以提高可读性。可以在 Linux 命令中删除或使用它们。对于 Windows,请删除它们或将其替换为脱字号 (^)。

    aws emr create-cluster --instance-type m4.large --instance-count 3 --emrfs Consistent=true \ --release-label emr-5.14.0 --ec2-attributes KeyName=myKey

使用 AWS Management Console检查是否启用了一致视图

  • 要在控制台中检查是否启用了一致视图,请导航到 Cluster List,然后选择您的集群名称以查看 Cluster Details。“EMRFS consistent view (EMRFS 一致视图)”字段的值为 Enabled (已启用) 或 Disabled (已禁用)。

通过检查 emrfs-site.xml 文件查看是否启用了一致视图

  • 您可以通过检查集群主节点上的 emrfs-site.xml 配置文件,来查看是否启用了一致性。如果 fs.s3.consistent 的布尔值设置为 true,则表示已为涉及 Amazon S3 的文件系统操作启用了一致视图。