Amazon EMR WAL 注意事项和区域

Amazon EMR WAL 可用于 Amazon EMR 6.15.0 及更高版本。

Amazon EMR WAL 是一项可选的付费服务。您可以按实际使用量付费：读取、写入和数据存储。有关更多信息，请参阅 了解 Amazon EMR WAL 定价和指标 和 Amazon EMR 定价页面。

Amazon EMR WAL 使用 HBase 预写日志（WAL）。要使用 Amazon EMR WAL，您的集群必须使用 HBase WAL。

要在创建集群时启用 Amazon EMR WAL，您必须拥有所需的角色权限。有关更多信息，请参阅使用服务相关角色预写日志记录。

使用 Amazon Web Services 管理控制台、Amazon CLI 或 API 创建集群时，必须启用 Amazon EMR WAL，且必须使用实例组配置。如果您未使用 Amazon EMR WAL 创建集群，则无法在正在运行的集群中启用 Amazon EMR WAL。您也无法编辑 hbase-site 配置，在正在运行的集群中启用 Amazon EMR WAL。

您只能在将 Amazon S3 用作根目录的集群上启用 Amazon EMR WAL。

在 Amazon EMR 版本 7.5.0 之前，Amazon EMR WAL 中的记录必须为 4 MB 或更小。但是在 Amazon EMR 7.5.0 及更高版本中，EMR WAL 中的最大记录大小可以通过属性 emr.wal.max.payload.size 进行配置。默认值为 1 GB。以下示例将最大记录大小设置为 2 GB：

[
  {
    "Classification":"hbase-site",
    "Properties": {
       "emr.wal.max.payload.size": "2147483648"
    }
  }
]

在 AmazonS3 中，同一 HBase 根目录上不能有多个活动集群。

您无法在只读副本集群上启用 Amazon EMR WAL。

WAL 在托管服务内跨可用区复制。

WAL 的存在时间超过集群，并且在下一个集群中仍然可用。

在启动期间或集群运行时（处于运行状态），您无法禁用 Amazon EMR WAL。

有关 WAL 和 Workspace 限制的信息，请参阅 Amazon EMR 端点和配额。

ap-northeast-1 – 亚太地区（东京）

ap-northeast-2 – 亚太地区（首尔）

ap-southeast-1 – 亚太地区（新加坡）

ap-south-1 – 亚太地区（孟买）

ap-southeast-2 – 亚太地区（悉尼）

eu-central-1 – 欧洲地区（法兰克福）

eu-north-1 – 欧洲地区（斯德哥尔摩）

eu-west-1 – 欧洲地区（爱尔兰）

sa-east-1 – 南美洲（圣保罗）

us-east-1 – 美国东部（弗吉尼亚州北部）

us-east-2 – 美国东部（俄亥俄州）

us-west-2 – 美国西部（俄勒冈州）

ap-east-1 – 亚太地区（香港）

af-south-1 – 非洲（开普敦）

ca-central-1 – 加拿大（中部）

eu-west-2 – 欧洲地区（伦敦）