亚马逊 EMR 的预写日志 (WAL) - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

亚马逊 EMR 的预写日志 (WAL)

使用亚马逊 EMR 6.15 及更高版本,你可以将 Apache HBase 预写日志 (WAL) 写入亚马逊 EMR WAL。在较低的 Amazon EMR 版本中,当您使用 HBase on Amazon Amazon S3 选项创建集群时,WAL 是唯一存储在本地磁盘中用于集群的 Apache HBase 组件,您可以在 Amazon S3 上存储其他组件,例如根目录、存储文件 (HFiles)、表元数据和数据。

你可以使用 Amazon EMR WAL 来恢复未刷新到 Amazon S3 的数据。要完全备份您的 HBase 集群,请选择使用 Amazon EMR WAL 服务。在幕后,RegionServer将你的 HBase 预写日志 (WAL) 写入亚马逊 EMR 的 WAL。

如果您的集群或可用区运行状况不佳或不可用,您可以创建一个新集群,将其指向相同的 S3 根目录和 Amazon EMR WAL 工作空间,并在几分钟内自动恢复 WAL 中的数据。有关更多信息,请参阅 从亚马逊 EMR WAL 恢复

注意

Amazon EMR 将您的预写日志及其数据从您创建集群之时起保留 30 天。30 天后,亚马逊 EMR 会自动删除您的亚马逊 EMR WAL 及其数据。但是,如果您从同一 S3 根目录启动支持 WAL 的新集群,则可以将 WAL 的使用期限从新集群启动之日起延长 30 天。在最初的 30 天期限之后,Amazon EMR 仍会清理第一个集群中的所有 WAL 数据。有关更多信息,请参阅 从亚马逊 EMR WAL 恢复

以下各节介绍如何在启用 HBase 的 EMR 集群中设置和使用 Amazon EMR WAL。