Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 Amazon AWS 入门

步骤 5:分步测试群集

您尝试跟踪错误源时的一项有用的技术是重启群集并逐一向群集提交步骤。这可以让您检查每个步骤的结果然后才处理下一个步骤,让您有机会更正并重新运行失败的步骤。这也有一个优势,即,您仅需上传一次输入数据。

分步测试群集

  1. 启动新群集,启用保持活动状态和终止保护两种功能。保持活动状态可在群集处理了所有待执行的步骤后保持群集运行。终止保护可以防止群集在出现错误时关闭。有关更多信息,请参阅 将集群配置为自动终止或继续使用终止保护

  2. 向群集提交一个步骤。有关更多信息,请参阅 向集群提交工作

  3. 当该步骤完成处理后,检查步骤日志文件中是否有错误。有关更多信息,请参阅 步骤 4:检查日志文件。查找这些日志文件最快的方法是连接到主节点并查看那里的日志文件。直到该步骤运行一些时间结束或失败,步骤日志文件才会出现。

  4. 如果该步骤成功无误,运行下一个步骤。如果有错误,调查日志文件中的错误。如果是您的代码中的错误,更正并重新运行该步骤。继续操作直到所有步骤均运行无误。

  5. 当您完成了群集调试想终止群集时,您必须手动终止该群集。这么做是必要的,因为群集启动时启用了终止保护。有关更多信息,请参阅 使用终止保护