第 2 步:启动一个 Amazon EMR 集群
在此步骤中,将配置并启动 Amazon EMR 集群。集群将已经安装 Hive 和 DynamoDB 存储处理程序。
通过以下链接打开 Amazon EMR 控制台:https://console.aws.amazon.com/emr
。 -
选择创建集群。
-
在创建集群 - 快速选项页面,执行以下操作:
-
在集群名称中键入集群名称(如
My EMR cluster
)。 -
在 EC2 密钥对中,选择之前创建的密钥对。
保留其他设置的默认值。
-
-
选择创建集群。
启动集群将花费几分钟的时间。可以使用 Amazon EMR 控制台的集群详细信息页面监控其进度。
状态更改为 Waiting
后,说明集群准备好使用。
集群日志文件和 Amazon S3
Amazon EMR 集群生成日志文件,其中包含有关集群状态和调试信息的信息。默认设置创建集群 - 快速选项包括设置 Amazon EMR 日志记录。
如果尚不存在,则 Amazon Web Services Management Console 创建 Amazon S3 存储桶。存储桶名为 aws-logs-
,其中 account-id
-region
是您的 Amazon 账户,account-id
是启动集群所在的区域(如 region
aws-logs-123456789012-us-west-2
)。
注意
可以使用 Amazon S3 控制台查看日志文件。有关更多信息,请参见 Amazon EMR 管理指南的查看日志文件。
除了日志记录,还可以将此存储桶用于其他目的。例如,可以将存储桶用作存储 Hive 脚本的位置,或者将数据从 Amazon DynamoDB 导出到 Amazon S3 时的目的地。