Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

HBase早期AMI版本的 Amazon 的应用程序细节 EMR

支持的HBase版本

HBase集群先决条件

使用 Amazon 2.x 和 3.x EMR AMI 版本创建的集群应满足以下要求。HBase

使用 HBase 创建集群

下表列出了使用 Amazon EMR AMI 发行版使用控制台创建集群时可用的选项。HBase

以下示例 Amazon CLI 命令启动带有HBase和其他应用程序的集群：

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
               --applications Name=Hue Name=Hive Name=Pig Name=HBase \
               --use-default-roles --ec2-attributes KeyName=myKey \
               --instance-type c1.xlarge --instance-count 3 --termination-protected

在 Hive 和HBase集群之间建立连接后（如前面的过程所示），您可以通过在 Hive 中创建外部表来访问存储在HBase集群上的数据。

以下示例在 Hive 提示符下运行时，会创建一个外部表，该表引用存储在名inputTable为的HBase表中的数据。然后，您可以inputTable在 Hive 语句中引用以查询和修改存储在HBase集群中的数据。

add jar lib/emr-metrics-1.0.jar ;
               add jar lib/protobuf-java-2.4.0a.jar ;
               
               set hbase.zookeeper.quorum=ec2-107-21-163-157.compute-1.amazonaws.com ;
               
               create external table inputTable (key string, value string)
                    stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
                     with serdeproperties ("hbase.columns.mapping" = ":key,f1:col1")
                     tblproperties ("hbase.table.name" = "t1");
               
               select count(*) from inputTable ;		

自定义配置 HBase

尽管默认设置应该适用于大多数应用程序，但您可以灵活地修改HBase配置设置。为此，请运行两种引导操作脚本之一：

运行 configu re-hbase 或configure-hbase-daemons引导操作时，您指定的值会覆盖默认值。任何未显式设置的值都会接受默认值。

使用这些引导操作HBase进行配置类似于在 Amazon 中使用引导操作EMR来配置 Hadoop 设置和 Hadoop 守护程序属性。不同之处在于HBase没有每进程内存选项。相反，内存选项是使用--daemon-opts参数设置的，其中 daemon 被要配置的守护程序的名称所取代。

配置HBase守护程序

Amazon EMR 提供了一个引导操作s3://region.elasticmapreduce/bootstrap-actions/configure-hbase-daemons，您可以使用它来更改HBase守护程序的配置，其中 region 是您要启动HBase集群的区域。

要使用配置HBase守护程序 Amazon CLI，请在启动集群时添加configure-hbase-daemons引导操作以配置一个或多个HBase守护程序。您可以设置以下属性。

有关这些选项的更多信息，请参阅HBase文档中的 hbase-env.sh。

以下示例中显示的是为 zookeeper-opts 和 hbase-master-opts 配置值的引导操作。

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-daemons,\
Args=["--hbase-zookeeper-opts=-Xmx1024m -XX:GCTimeRatio=19","--hbase-master-opts=-Xmx2048m","--hbase-regionserver-opts=-Xmx4096m"]

配置HBase站点设置

Amazon EMR 提供了引导操作s3://elasticmapreduce/bootstrap-actions/configure-hbase，您可以使用该操作来更改的配置。HBase您可以将配置值 one-by-one设置为引导操作中的参数，也可以在 Amazon S3 中指定XML配置文件的位置。如果您只需要设置几个配置设置， one-by-one 则设置配置值非常有用。如果您要进行许多更改，或者要保存配置设置以供重复使用，则使用XML文件进行设置会很有用。

此引导操作修改集群上的/home/hadoop/conf/hbase-site.xml配置文件。HBase引导操作只能在HBase集群启动时运行。

有关您可以配置的HBase站点设置的更多信息，请参阅HBase文档中的默认配置。

在configure-hbase启动HBase集群时设置引导操作，并在中指定hbase-site.xml要更改的值。

设置代理并打开SSH连接后，您可以通过 http://打开浏览器窗口来查看HBase用户界面master-public-dns-name:60010/master-status，其中 master-public-dns-name 是HBase集群中主节点的公共DNS地址。

您可以使用连接到主节点并导航SSH到该mnt/var/log/hbase目录来查看当前HBase日志。除非您在集群启动时启用了针对 Amazon S3 的日志记录，否则这些日志将在集群终止后不再可用。

备份和恢复 HBase

Amaz EMR on 允许您手动或按自动计划将您的HBase数据备份到 Amazon S3。您可以执行完整备份和增量备份。获得备份版本HBase的数据后，可以将该版本恢复到集HBase群。您可以恢复到当前正在运行的HBase集群，也可以启动预先填充了备份数据的新集群。

在备份过程中，HBase继续执行写入命令。虽然这样可确保集群在整个备份过程中都处于可用状态，但存在的风险是，正在备份的数据可能与并行执行的任何写入操作不一致。要了解可能出现的不一致性，您必须考虑在集群中的节点之间HBase分配写入操作。如果写入操作发生在轮询特定节点之后，则备份存档中不会包含该数据。您甚至可能会发现，早期对HBase集群的写入（发送到已经轮询过的节点）可能不在备份存档中，而后来的写入（在轮询之前发送到节点）则包括在内。

如果需要一致的备份，则必须在备份过程的HBase初始部分（跨节点同步）暂停写入。您可以通过在请求备份时指定 --consistent 参数完成此操作。指定此参数后，系统会将此期间的写入操作加入队列并在同步完成后立即执行这些操作。您还可以计划重复备份，一次备份过程中遗失的数据会在后续备份过程中得到备份，从而解决随时间推移而产生的任何不一致问题。

备份HBase数据时，应为每个群集指定不同的备份目录。完成此操作的一种简单方法是，将集群标识符用作备份目录指定路径的一部分。例如，s3://mybucket/backups/j-3AEXXXXXX16F2。这样可以确保将来的任何 future 增量备份都引用正确的HBase群集。

当您准备删除不再需要的旧备份文件时，我们建议您先对HBase数据进行完整备份。这样可确保保留所有数据并为以后的增量备份提供基线。完成完整备份后，您可以导航到备份位置并手动删除旧备份文件。

HBase备份过程使用 S3 DistCp 进行复制操作，这在临时文件存储空间方面有一定的限制。

HBase使用控制台进行备份和恢复

控制台允许启动新集群并使用先前HBase备份中的数据填充该集群。它还使您能够计划HBase数据的定期增量备份。其他备份和还原功能，例如将数据还原到已在运行的集群、进行手动备份和安排自动完整备份的功能，可使用使用CLI。

HBase使用监视器 CloudWatch

Amazon EMR 报告了三个指标 CloudWatch ，您可以使用这些指标来监控HBase备份。这些指标每隔五分钟推送 CloudWatch 一次，并且是免费提供的。

将 Ganglia 配置为 HBase

您可以将 Ganglia 配置为HBase使用configure-hbase-for-ganglia引导操作。此引导操作配置为向 Gan HBase glia 发布指标。

启动集群时必须配置HBase和 Ganglia；无法将 Ganglia 报告添加到正在运行的集群中。

Ganglia 还可以将日志文件存储在 /mnt/var/log/ganglia/rrds 处的服务器上。如果您配置了集群以将日志文件保存到 Amazon S3 存储桶，Ganglia 日志文件也会保存在那里。

要启动带有 Ganglia 的集群HBase，请使用configure-hbase-for-ganglia引导操作，如下例所示。

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase Name=Ganglia \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-for-ganglia

在配置了 Ganglia 的情况下启动集群后，您就可以使用主节点上运行的图形界面来访问 Ganglia 图形和报告。