View a markdown version of this page

YARN 容器装箱 - Amazon EMR
启用该功能注意事项
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

YARN 容器装箱

从 Amazon EMR 版本 7.9.0 开始，YARN 容量计划程序现在可以使用容器装箱策略，该策略是基于 YARN 的多节点放置策略构建的。虽然该功能默认处于禁用状态，但激活后，YARN 会优先使用容器填充单个节点，然后再扩展到其他集群节点，同时遵守配置 yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage 定义的预定义打包阈值。

与默认的统一容器分配策略相比，容器装箱策略具有以下几个优点：

  • 它减少了集群资源碎片化。

  • 它通过在有限数量的节点上有可用资源时在这些节点上启动容器来加速集群缩减操作，从而使其他节点空闲，然后可以缩减这些节点，从而为动态扩展集群节省更多成本。

启用该功能

要在 Amazon EMR 中启用容器装箱功能，您可以添加以下 YARN 站点分类：

[
	{
		"Classification": "yarn-site",
		"Properties": {
		"yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage": "integer value from 1-100"
		}
	}
]

注意事项

  • 该功能仅适用于 YARN 容量计划程序。

  • 启用该功能会自动激活 YARN 多节点放置计划策略。

  • 由于资源利用集中在有限数量的节点上，可能会出现性能下降的情况。

  • 借助此功能，相比托管扩展策略，自定义自动扩缩策略能够更好地执行缩减操作。