Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

用于推理的分解预填和解码 HyperPod

分解预填和解码 (DPD) 将 LLM 推理的两个阶段（预填和解码）分离到专用 GPU 池中，并使用远程直接内存访问 (RDMA) 通过 Elastic Fabric Adapter (EFA) Fabric Adapter 在它们之间传输键值 (KV) 缓存。 GPU-Direct

当预填和解码在同一 GPU（同置）上运行时，单个长上下文请求可能会阻碍其他客户端的动态令牌流，从而增加负载下每个令牌的延迟。DPD 通过在一组 GPU 上运行计算绑定预填充，在另一组 GPU 上运行内存带宽限制的解码来消除这种干扰，从而在混合流量下产生更可预测的延迟，并允许您独立扩展每个阶段。

推理操作员负责编排，包括配置路由器、通过 LmCache 和 NIXL 将预填和解码 pod 连接在一起，以及与可观察性集成。 HyperPod 您可以通过在已用于推理端点的InferenceEndpointConfig资源中添加一个pdSpec部分来启用 DPD。

当 DPD 提供帮助时

当满足以下所有条件时，DPD 可提供最大的收益：

如果您的工作负载输入较短、并发性较低或使用小型模型，则标准托管部署会更简单且性能良好。

先决条件

在部署使用分解预填和解码的推理端点之前，您需要在本地开发环境中设置以下组件：

部署 DPD 终端节点

大多数InferenceEndpointConfig字段都与非 DPD 端点共享并记录在中。部署基础模型和自定义经过微调的模型要启用 DPD，请在清单中添加以下部分。

Prefill-Decode 规格：p d Spec

声明 prefill/decode 拓扑并指定参数。此字段的存在是端点分解的原因：操作员为预填和解码创建单独的部署，并通过路由器和 LmCache PD 后端将它们连接在一起。

pdSpec:
  prefillSpec:
    replicas: 1
    resources:
      limits:
        nvidia.com/gpu: ${GPUS_PER_NODE}
      requests:
        nvidia.com/gpu: ${GPUS_PER_NODE}
    args:
      - "--gpu-memory-utilization"
      - "0.75"
  decodingSpec:
    replicas: 1
    resources:
      limits:
        nvidia.com/gpu: ${GPUS_PER_NODE}
      requests:
        nvidia.com/gpu: ${GPUS_PER_NODE}
  routingThreshold: 4096

DPD 环境变量：环境变量

这些环境变量以相同的方式应用于预填器和解码器容器；没有每个角色的 env-var 字段。对于每个角色的行为，请pdSpec.{prefillSpec,decodingSpec}.args改用。

environmentVariables:
  - name: PD_BUFFER_SIZE
    value: "8589934592"
  - name: LMCACHE_SAVE_DECODE_CACHE
    value: "False"
  - name: PYTHONHASHSEED
    value: "0"

配置路由策略

该intelligentRoutingSpec部分设置了 DPD 路由器用来为每个请求选择预填器的路由策略。路由器存在时pdSpec会自动创建；此部分是可选的，默认为prefixaware。

intelligentRoutingSpec:
  enabled: true
  routingStrategy: prefixaware

DPD 还可以与智能路由和 KV 缓存集成。有关更多信息，请参阅 配置 KV 缓存和智能路由。

使用单个预填副本，所有策略都会路由到该副本。只有在以下情况下，该选择才会影响行为prefillSpec.replicas > 1：

完整示例

以下清单在两个 ml.p5.48xlarge 实例（一个预填器，一个解码器）上部署 Llama 3.3 70B：

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: dpd-test
  namespace: default
spec:
  endpointName: dpd-test
  instanceType: ml.p5.48xlarge
  invocationEndpoint: v1/chat/completions
  modelName: Llama-3.3-70B-Instruct
  modelSourceConfig:
    modelSourceType: s3
    modelLocation: Llama-3.3-70B-Instruct
    s3Storage:
      bucketName: <YOUR_BUCKET>
      region: <YOUR_REGION>
  loadBalancer:
    healthCheckPath: /health
  metrics:
    enabled: true
  kvCacheSpec:
    enableL1Cache: true
  intelligentRoutingSpec:
    enabled: true
    routingStrategy: prefixaware
  pdSpec:
    prefillSpec:
      replicas: 1
      resources:
        requests:
          nvidia.com/gpu: "8"
        limits:
          nvidia.com/gpu: "8"
    decodingSpec:
      replicas: 1
      resources:
        requests:
          nvidia.com/gpu: "8"
        limits:
          nvidia.com/gpu: "8"
    routingThreshold: 4096
  worker:
    image: public.ecr.aws/deep-learning-containers/vllm:server-hyperpod-cuda-v1.1
    args:
      - "--model"
      - "/opt/ml/model"
      - "--host"
      - "0.0.0.0"
      - "--port"
      - "8000"
      - "--tensor-parallel-size"
      - "8"
      - "--max-model-len"
      - "16384"
      - "--gpu-memory-utilization"
      - "0.75"
    modelInvocationPort:
      name: http
      containerPort: 8000
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    resources:
      requests:
        cpu: "96"
        memory: 1024Gi
        nvidia.com/gpu: "8"
      limits:
        cpu: "96"
        memory: 1024Gi
        nvidia.com/gpu: "8"
    environmentVariables:
      - name: HF_HOME
        value: /tmp/hf_home
      - name: PD_BUFFER_SIZE
        value: "8589934592"
      - name: LMCACHE_SAVE_DECODE_CACHE
        value: "False"
      - name: PYTHONHASHSEED
        value: "0"

应用清单：

kubectl apply -f inference_endpoint_dpd_config.yaml

验证部署

图像拉取和模型加载需要几分钟。监控 pod 状态：

kubectl get pods -A \
  | grep -E "prefill-|decode-|router"

健康的部署显示：

NAMESPACE                   NAME                                   READY   STATUS    RESTARTS   AGE
default                     prefill-dpd-test-XXXX                  3/3     Running   0          7m
default                     decode-dpd-test-XXXX                   3/3     Running   0          7m
hyperpod-inference-system   dpd-test-router-XXXX                   2/2     Running   0          7m

每个模型 pod 有 3 个容器（vlLM 工作器、Nginx 反向代理、收集器）。 OpenTelemetry路由器 pod 有 2 个容器（路由器、 OpenTelemetry 收集器）。检查InferenceEndpointConfig状态：

kubectl get inferenceendpointconfig dpd-test -n default \
  -o jsonpath='{.status.conditions[0].message}{"\n"}'

预期输出：DPD prefill and decode deployments are ready

验证 DPD 角色

确认预填报告sender和解码器报告。receiver这是最具辨别力的启动信号——如果两个 pod 都报告相同的角色或者都没有打印线路，则操作员没有正确接线 DPD。

PREFILL_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=prefill' \
  -o jsonpath='{.items[0].metadata.name}')

DECODE_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=decode' \
  -o jsonpath='{.items[0].metadata.name}')

kubectl logs $PREFILL_POD -n ${NAMESPACE} -c prefill-${DEPLOYMENT_NAME} \
  | grep -oE "'pd_role': '[a-z]+'" | sort -u

kubectl logs $DECODE_POD -n ${NAMESPACE} -c decode-${DEPLOYMENT_NAME} \
  | grep -oE "'pd_role': '[a-z]+'" | sort -u

预期输出：

'pd_role': 'sender'
'pd_role': 'receiver'

调用端点

端点准备就绪后，发送简短和长长的提示以使用两条路由路径，然后检查日志以确认通过 EFA 传输 KV。

PREFILL_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=prefill' \
  -o jsonpath='{.items[0].metadata.name}')

DECODE_POD=$(kubectl get pod -n ${NAMESPACE} \
  -l 'inference.sagemaker.aws.amazon.com/dpd-role=decode' \
  -o jsonpath='{.items[0].metadata.name}')

ROUTER_POD=$(kubectl get pods -n hyperpod-inference-system -o name \
  | grep -- "${DEPLOYMENT_NAME}-${NAMESPACE}-router" | head -1)

ROUTER_URL=http://${DEPLOYMENT_NAME}-${NAMESPACE}-routing-service.hyperpod-inference-system.svc.cluster.local:443/v1/chat/completions

短提示（低于阈值，直接进入解码器）

令牌数少于routingThreshold绕过预填器并直接进入解码器的请求：

kubectl run curl-short --rm -it --image=curlimages/curl --restart=Never -- \
  curl -s -k -X POST "$ROUTER_URL" \
    -H "Content-Type: application/json" \
    -d '{
      "model": "/opt/ml/model",
      "messages": [{"role": "user", "content": "What is disaggregated prefill-decode in one sentence?"}],
      "max_tokens": 80,
      "temperature": 0.0
    }'

长提示（超过阈值，DPD 路径）

超过阈值的请求通过预填器进行KV缓存计算，然后路由到解码器以生成令牌：

kubectl run curl-long --rm -it --image=curlimages/curl --restart=Never -- sh -c '
LONG=""
i=0; while [ $i -lt 600 ]; do LONG="${LONG}The quick brown fox jumps over the lazy dog. "; i=$((i+1)); done
curl -s -k -X POST "'"$ROUTER_URL"'" \
  -H "Content-Type: application/json" \
  -d "{\"model\":\"/opt/ml/model\",\"messages\":[{\"role\":\"user\",\"content\":\"${LONG}\"}],\"max_tokens\":30,\"temperature\":0.0}"
'

验证 KV 传输

发送长提示后，通过检查解码器日志来确认 KV 缓存已传输：

kubectl logs $DECODE_POD -n ${NAMESPACE} -c decode-${DEPLOYMENT_NAME} \
  | grep -E "Retrieved.*tokens.*throughput" | tail -2

预期输出（每个 TP 等级各占一行）：

[Worker_TP5] [LMCache INFO] [req_id=cmpl-...] Retrieved 6035 out of 6035 required tokens (from 6035 total tokens).
   size: 0.2344 gb, cost 1.3304 ms, throughput: 176.1686 GB/s

Retrieved N out of N required tokens如果设置为 N > 0，则确认 KV 缓存成功穿过 NIXL 通道。如果你看到Retrieved 0 out of N，解码器又回到了本地重新计算——请参阅。分解的预填和解码 (DPD) 部署问题

您还可以在路由器日志中验证路由决定：

kubectl logs $ROUTER_POD -n hyperpod-inference-system -c router-container --tail=20 \
  | grep -E "Conditional routing"

对于长提示，你应该看到：

[INFO] Conditional routing: estimated_tokens=6750, threshold=4096, disaggregate=True

对于简短的提示：

[INFO] Conditional routing: estimated_tokens=12, threshold=4096, disaggregate=False

可观测性

通过metrics.enabled: true在您的中设置来启用指标InferenceEndpointConfig。DPD 指标可在 HyperPod 推理仪表板中找到。有关更多信息，请参阅 在集群上实现推理可观测性 HyperPod。

以下 DPD-specific 指标可用：

调整您的 DPD 部署

下表提供了根据您在指标控制面板中观察到的症状调整 DPD 的快速参考。

使用您的实际工作负载和输入长度分布进行测试。

要应用配置更改，请编辑您的部署 YAML 并重新应用：

kubectl apply -f inference_endpoint_dpd_config.yaml

已知限制条件

要对 DPD 部署进行故障排除，请参阅分解的预填和解码 (DPD) 部署问题。