EI 的工作原理

Amazon Elastic Inference 加速器是网络附加设备，该设备与端点中的 SageMaker 实例结合使用来加速推理调用。通过 Elastic Inference，您可以将部分 GPU 附加到任何 SageMaker 实例，从而加速推理。您可以选择客户端实例来运行您的应用程序，并附加一个 Elastic Inference 加速器来使用适当数量的 GPU 加速，从而满足推理需求。在未充分利用 GPU 实例进行推理时，Elastic Inference 将帮助您降低成本。我们建议您使用不同的 CPU 实例和加速器大小来对模型试用 Elastic Inference。

EI 加速器有以下类型可用。您可以使用任意 EI 加速器类型配置端点或笔记本实例。

在该表中，列出了单精度浮点 (F32) 和半精度浮点 (F16) 操作的吞吐量，以万亿次浮点运算 (TFLOPS) 为单位。此外还以 GB 为单位列出了内存。