AWS::SageMaker::EndpointConfig ProductionVariant
指定要托管的模型以及为托管模型而部署的资源。如果您正在部署多个模型,请告知 Amazon SageMaker 如何通过指定 InitialVariantWeight
对象来在模型之间分配流量。
语法
要在 AWS CloudFormation 模板中声明此实体,请使用以下语法:
JSON
{ "AcceleratorType" :
String
, "InitialInstanceCount" :Integer
, "InitialVariantWeight" :Double
, "InstanceType" :String
, "ModelName" :String
, "VariantName" :String
}
YAML
AcceleratorType:
String
InitialInstanceCount:Integer
InitialVariantWeight:Double
InstanceType:String
ModelName:String
VariantName:String
属性
AcceleratorType
-
用于生产变体的 Elastic Inference (EI) 实例的大小。EI 实例可提供按需 GPU 计算能力用于推导。有关更多信息,请参阅在 Amazon SageMaker 中使用 Elastic Inference。有关更多信息,请参阅在 Amazon SageMaker 中使用 Elastic Inference。
必需:否
类型:字符串
允许的值:
ml.eia1.large | ml.eia1.medium | ml.eia1.xlarge | ml.eia2.large | ml.eia2.medium | ml.eia2.xlarge
Update requires: Replacement
InitialInstanceCount
-
最初要启动的实例数量。
必需:是
类型:整数
最低:
1
Update requires: Replacement
InitialVariantWeight
-
确定您在终端节点配置中指定的所有模型之间的初始流量分配。生产变体的流量由
VariantWeight
与所有 ProductionVariants 的所有VariantWeight
值之和的比率决定。如果未指定,则默认为值 1.0。必需:是
类型:双精度
Update requires: Replacement
InstanceType
-
ML 计算实例类型。
必需:是
类型:字符串
允许的值:
ml.c4.2xlarge | ml.c4.4xlarge | ml.c4.8xlarge | ml.c4.large | ml.c4.xlarge | ml.c5.18xlarge | ml.c5.2xlarge | ml.c5.4xlarge | ml.c5.9xlarge | ml.c5.large | ml.c5.xlarge | ml.c5d.18xlarge | ml.c5d.2xlarge | ml.c5d.4xlarge | ml.c5d.9xlarge | ml.c5d.large | ml.c5d.xlarge | ml.g4dn.12xlarge | ml.g4dn.16xlarge | ml.g4dn.2xlarge | ml.g4dn.4xlarge | ml.g4dn.8xlarge | ml.g4dn.xlarge | ml.inf1.24xlarge | ml.inf1.2xlarge | ml.inf1.6xlarge | ml.inf1.xlarge | ml.m4.10xlarge | ml.m4.16xlarge | ml.m4.2xlarge | ml.m4.4xlarge | ml.m4.xlarge | ml.m5.12xlarge | ml.m5.24xlarge | ml.m5.2xlarge | ml.m5.4xlarge | ml.m5.large | ml.m5.xlarge | ml.m5d.12xlarge | ml.m5d.24xlarge | ml.m5d.2xlarge | ml.m5d.4xlarge | ml.m5d.large | ml.m5d.xlarge | ml.p2.16xlarge | ml.p2.8xlarge | ml.p2.xlarge | ml.p3.16xlarge | ml.p3.2xlarge | ml.p3.8xlarge | ml.r5.12xlarge | ml.r5.24xlarge | ml.r5.2xlarge | ml.r5.4xlarge | ml.r5.large | ml.r5.xlarge | ml.r5d.12xlarge | ml.r5d.24xlarge | ml.r5d.2xlarge | ml.r5d.4xlarge | ml.r5d.large | ml.r5d.xlarge | ml.t2.2xlarge | ml.t2.large | ml.t2.medium | ml.t2.xlarge
Update requires: Replacement
ModelName
-
要托管的模型的名称。这是在创建模型时指定的名称。
必需:是
类型:字符串
最高:
63
模式:
^[a-zA-Z0-9](-*[a-zA-Z0-9])*
Update requires: Replacement
VariantName
-
生产变体的名称。
必需:是
类型:字符串
最高:
63
模式:
^[a-zA-Z0-9](-*[a-zA-Z0-9])*
Update requires: Replacement