Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 Amazon AWS 入门

步骤 7:检查输入数据

请查看您的输入数据。它是否在键值之间均匀分配? 如果您的数据严重偏向一个或几个键值,那么可能将处理负载映射到少量节点,而其他节点则闲置。工作的不均衡分配可能会导致处理速度较慢。

不平衡数据集的示例是,依据按字母顺序排列的词运行集群,但有一个数据集仅包含以字母“a”开始的词。当工作被映射时,以“a”开始的节点处理值会过量,而以其他字母开始的节点处理词会处于闲置状态。