启用一致视图 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

启用一致视图

您可以使用 Amazon Web Services Management Console、Amazon CLI,emrfs-site 配置分类,为 EMRFS 启用 Amazon S3 服务器端加密或一致视图。

使用控制台配置一致视图

  1. 通过以下链接打开 Amazon EMR 控制台:https://console.aws.amazon.com/elasticmapreduce/

  2. 依次选择 Create cluster (创建集群)Go to advanced options (转到高级选项)

  3. 选择 Step 1: Software and Steps (步骤 1: 软件和步骤)Step 2: Hardware (步骤 2: 硬件) 的设置。

  4. 对于 Step 3: General Cluster Settings (步骤 3: 常规集群设置),在 Additional Options (附加选项) 下选择 EMRFS consistent view (EMRFS 一致视图)

  5. 对于 EMRFS Metadata store (EMRFS 元数据存储),键入您的元数据存储的名称。默认值为 EmrFSMetadata。如果 EmrFSMetadata 表不存在,则在 DynamoDB 中为您创建它。

    注意

    集群终止时,Amazon EMR 不会自动从 DynamoDB 中删除 EMRFS 元数据。

  6. 对于 Number of retries (重试次数),键入一个整数值。如果检测到不一致,EMRFS 会尝试进行此次数的 Amazon S3 调用。默认值为 5

  7. 对于 Retry period (in seconds) (重试期间 (秒)),键入一个整数值。这是 EMRFS 在重试尝试之间等待的时间量。默认值为 10

    注意

    后续重试会使用指数退避。

使用 Amazon CLI 启动一个启用一致视图的集群

建议您安装最新版本的 Amazon CLI。要下载最新版本,请访问 https://aws.amazon.com/cli/

  • 注意

    为了便于读取,包含 Linux 行继续符(\)。它们可以通过 Linux 命令删除或使用。对于 Windows,请将它们删除或替换为脱字号(^)。

    aws emr create-cluster --instance-type m5.xlarge --instance-count 3 --emrfs Consistent=true \ --release-label emr-5.33.1 --ec2-attributes KeyName=myKey

使用 Amazon Web Services Management Console检查是否启用了一致视图

  • 要在控制台中检查是否启用了一致视图,请导航到 Cluster List (集群列表),然后选择您的集群名称以查看 Cluster Details (集群详细信息)。“EMRFS consistent view (EMRFS 一致视图)”字段的值为 Enabled (已启用) 或 Disabled (已禁用)。

通过检查 emrfs-site.xml 文件查看是否启用了一致视图

  • 您可以通过检查集群主节点上的 emrfs-site.xml 配置文件,来查看是否启用了一致性。如果 fs.s3.consistent 的布尔值设置为 true,则表示已为涉及 Amazon S3 的文件系统操作启用了一致视图。