Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 Amazon AWS 入门

通过 AWS Data Pipeline 自动处理定期集群

AWS Data Pipeline 服务可以自动处理数据的移动和转换。您可以使用它安排将输入数据移入 Amazon S3 的时间,以及安排启动集群处理这些数据的时间。例如,在拥有 Web 服务器记录流量日志的情况下可以考虑此项服务。如果您每周需要运行一次集群分析流量数据,可以使用 AWS Data Pipeline 安排这些集群的时间。AWS Data Pipeline 是一种数据驱动型工作流,因此,一个任务(启动集群)可以依赖另一个任务(将输入数据移入 Amazon S3)。此外,它还拥有强健的重试功能。

有关 AWS Data Pipeline 的更多信息,请参阅 AWS Data Pipeline 开发人员指南,尤其是有关 Amazon EMR 的教程: