本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
启用一致视图
您可以启用 Amazon S3 服务器端加密或一致视图以EMRFS使用 Amazon Web Services Management Console Amazon CLI、或emrfs-site
配置分类。
使用控制台配置一致视图
导航到新的 Amazon EMR 控制台,然后从侧面导航栏中选择 “切换到旧主机”。有关切换到旧控制台后预期情况的更多信息,请参阅 Using the old console。
-
依次选择 Create cluster (创建集群)、Go to advanced options (转到高级选项)。
-
选择 Step 1: Software and Steps (步骤 1: 软件和步骤) 和 Step 2: Hardware (步骤 2: 硬件) 的设置。
-
对于 “步骤 3:常规群集设置”,在 “其他选项” 下,选择EMRFS一致视图。
-
对于EMRFS元数据存储,键入元数据存储的名称。默认值为
EmrFSMetadata
。如果 E mrFSMetadata 表不存在,则会在 DynamoDB 中为您创建该表。注意
集群终止后,亚马逊EMR不会自动从 DynamoDB 中删除EMRFS元数据。
-
对于 Number of retries (重试次数),键入一个整数值。如果检测到不一致,则EMRFS尝试调用 Amazon S3 此次数。默认值为
5
。 -
对于 Retry period (in seconds) (重试期间 (秒)),键入一个整数值。这是在两次重试尝试之间EMRFS等待的时间。默认值为
10
。注意
后续重试会使用指数退避。
要启动启用一致视图的集群,请使用 Amazon CLI
我们建议您安装当前版本的 Amazon CLI。要下载最新版本,请参阅https://aws.amazon.com/cli/
-
注意
为了便于读取,包含 Linux 行继续符 (\)。它们可以通过 Linux 命令删除或使用。对于 Windows,请将它们删除或替换为脱字号 (^)。
aws emr create-cluster --instance-type
m5.xlarge
--instance-count3
--emrfs Consistent=true
\ --release-labelemr-7.3.0
--ec2-attributes KeyName=myKey
要检查一致视图是否已启用,请使用 Amazon Web Services Management Console
要在控制台中检查是否启用了一致视图,请导航到 Cluster List (集群列表),然后选择您的集群名称以查看 Cluster Details (集群详细信息)。“EMRFS一致视图” 字段的值为
Enabled
或Disabled
。
通过检查 emrfs-site.xml
文件查看是否启用了一致视图
您可以通过检查集群主节点上的
emrfs-site.xml
配置文件,来查看是否启用了一致性。如果fs.s3.consistent
的布尔值设置为true
,则表示已为涉及 Amazon S3 的文件系统操作启用了一致视图。