跳到主要内容
Enterprise

平头哥(T-Head)PPU

PPU Device Plugin 将平头哥 T-Head PPU(真武 810E 等)注册为 Kubernetes 资源,支持按显存和算力共享。设备由 HAMi 调度器选择,未经其调度的 Pod 无法完成分配。本文使用 Chart 0.0.4 和应用 v1.0.5,说明授权配置、插件安装和工作负载验证。

前置条件​

  • Kubernetes 1.20 或更高版本,以及 Helm 3。
  • PPU 节点已安装驱动,并存在 /dev/alixpu、/dev/alixpu_ctl 和 /dev/alixpu_ppu{N} 设备文件。
  • 已部署 HAMi 企业版调度器,且资源名与本插件一致。部署方式见安装文档。
  • 已获取覆盖目标 PPU 设备的企业版许可证。

安装​

kubectl label node <node-name> alibabappu=on

helm upgrade --install ppu-vgpu-device-plugin \
oci://ghcr.io/dynamia-ai/charts/ppu-vgpu-device-plugin \
--version 0.0.4 \
-n hami-system --create-namespace

Chart 0.0.4 默认使用镜像 ghcr.io/dynamia-ai/ppu-device-plugin:v1.0.5。集群从其他仓库拉取时,设置 image.repository 和 image.tag。

检查插件和节点资源:

kubectl -n hami-system get ds -l app.kubernetes.io/instance=ppu-vgpu-device-plugin
kubectl get node <node-name> -o jsonpath='{.status.allocatable.alibaba\.com/ppu}{"\n"}'

allocatable 应为物理卡数 × deviceSplitCount。

卸载:

helm uninstall ppu-vgpu-device-plugin -n hami-system

工作负载资源​

资源说明
alibaba.com/ppu卡数
alibaba.com/ppu-memory每卡显存(MiB)
alibaba.com/ppu-memory-percentage每卡显存比例(1–100)
alibaba.com/gpu-core每卡算力比例(1–100)

只申请卡数时整卡独占。ppu-memory 优先于 ppu-memory-percentage。

配置​

以下参数位于插件 Chart 的 config.data.alibaba 中:

参数默认说明
deviceSplitCount10每卡最多共享的容器数
deviceMemoryScaling1.0显存超分倍数
deviceCoreScaling1.0算力超分倍数
resourceCountName 等alibaba.com/*资源名,需与调度器一致

nodeSelector 默认为 alibabappu: "on",用于选择运行插件的节点。monitor.service.nodePort 默认为 31992。

Pod 注解:

注解说明
alibaba.com/use-pputype / nouse-pputype指定 / 排除型号
alibaba.com/use-ppuuuid / nouse-ppuuuid指定 / 排除 UUID
hami.io/gpu-scheduler-policybinpack、spread、topology-aware

冒烟测试​

在同一张 PPU 上运行两个 vLLM 实例,每个申请 50% 显存和 50% 算力,验证共卡、限制注入和推理可用。

警告

本文不提供测试镜像。需自行准备包含 PPU SDK、PyTorch 和 vLLM 的镜像,并确保集群可拉取。

export PPU_IMAGE=<ppu-vllm-image>

cat <<EOF | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
name: ppu-smoke
spec:
replicas: 2
selector:
matchLabels:
app: ppu-smoke
template:
metadata:
labels:
app: ppu-smoke
annotations:
hami.io/node-scheduler-policy: binpack
hami.io/gpu-scheduler-policy: binpack
spec:
containers:
- name: vllm
image: ${PPU_IMAGE}
command:
- sh
- -c
- |
pip install modelscope &&
modelscope download --model Qwen/Qwen2.5-1.5B-Instruct --local_dir /models/qwen &&
exec python3 -m vllm.entrypoints.openai.api_server \
--model /models/qwen --served-model-name qwen \
--trust-remote-code --gpu-memory-utilization 0.8
readinessProbe:
httpGet:
path: /health
port: 8000
periodSeconds: 10
failureThreshold: 90
resources:
limits:
cpu: "8"
memory: 16Gi
alibaba.com/ppu: 1
alibaba.com/ppu-memory-percentage: 50
alibaba.com/gpu-core: 50
volumeMounts:
- name: models
mountPath: /models
volumes:
- name: models
emptyDir: {}
EOF

kubectl rollout status deployment/ppu-smoke --timeout=30m

检查:

for p in $(kubectl get pod -l app=ppu-smoke -o name); do
echo "== $p"
kubectl get $p -o jsonpath='{.metadata.annotations.hami\.io/vppu-devices-allocated}{"\n"}'
kubectl exec $p -- sh -c 'env | grep CUDA_DEVICE_'
kubectl exec $p -- python3 -c 'import torch; print("total", torch.cuda.mem_get_info()[1] >> 20, "MiB")'
kubectl exec $p -- curl -s localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "qwen", "messages": [{"role": "user", "content": "Hello"}]}'
echo
done

通过条件:

检查项预期
分配注解两个 Pod 的设备 UUID 相同
CUDA_DEVICE_MEMORY_LIMIT_0约为整卡显存的 50%
CUDA_DEVICE_SM_LIMIT50
total与 CUDA_DEVICE_MEMORY_LIMIT_0 一致
推理响应choices[0].message.content 非空

清理:

kubectl delete deployment ppu-smoke

排障​

kubectl -n hami-system logs -l app.kubernetes.io/component=device-plugin --tail=200
现象检查
无插件 Pod节点标签 alibabappu=on
无 alibaba.com/ppu 资源驱动、/dev/alixpu*、插件日志
device request not foundPod 的 schedulerName
授权错误节点 hami.io/alibaba-license 中的设备 UUID 和有效期、HGML 可见设备的授权覆盖范围、工作负载时区;续期后是否重启业务进程

返回独立设备插件