Dynamia ascend-device-plugin Chart 0.4.0
发布时间:2026-11-09
Chart 0.4.0 交付应用 v1.5.0,在开源基线上提供动态显存、Turbo 模式和优先级控制三项企业级 Ascend 能力,分别用于运行中按需增加显存额度、独占任务使用完整算力,以及共享 NPU 上的任务优先执行。相对上一版的修复与硬件支持见「版本变化」。
| 版本 | 上一版 | 本版 |
|---|---|---|
| Chart | 0.3.1 | 0.4.0 |
| appVersion | v1.4.3 | v1.5.0 |
开源基线
本版按功能集成以下开源基线,并使用商业版配套运行库 libvnpu v1.5.0。部署配置、资源管理和 HAMi Enterprise 集成保留商业版实现。
| 组件 | 开源基线 | 本版交付范围 |
|---|---|---|
| Ascend 设备插件 | Project-HAMi/ascend-device-plugin v1.5.0,同步核对至 9325759 | 模板化切分、hami-core 多卡逐卡配额与 ENPU 集成,以及下文的设备管理修复和 Ascend950DT 整卡分配。 |
| hami-vnpu-core | a4f52f0 | 集成下文列出的预加载、显存查询、计算计时及共享状态权限修复;保留企业版算力策略、任务优先级和显存扩容。 |
多卡软切分和 ENPU 已在 Chart 0.3.1 中交付,相关开源来源为 ascend-device-plugin #147 和 hami-vnpu-core #44。本版继续提供这些能力,新增与修复见「版本变化」。
HAMi Enterprise 兼容性
| 功能或模式 | 最低可用 HAMi Enterprise 版本 | 本版配套要求与升级结论 |
|---|---|---|
模板化硬切分、Ascend950DT 整卡分配,使用调度器与插件共用的 vnpus.configs 配置 | v2.9.0-rc0 | 可沿用既有调度器。使用 Ascend950DT 时须补充设备配置,并将该节点设为 template 模式;仅升级插件 Chart 不会更新 HAMi 管理的配置。 |
显式指定 huawei.com/vnpu-mode: hami-core 的静态软切分,包括企业版算力策略、任务优先级与 Turbo | v2.10.0-r2 | 需要应用 v1.4.3 引入的配套运行授权。已经满足 Chart 0.3.0 要求的部署可沿用调度器;仍须完成下文的运行库状态迁移。 |
ENPU 调度,或 deviceCoreScaling 大于 1 的 hami-core 算力超卖 | v2.10.0-r5 | 需要对应的调度器后端与资源记账能力,并使用匹配的共享设备配置和节点配置。 |
| 自动显存扩容 | v2.10.0-r2 | 仅适用于显式使用 hami-core、分配单个 vNPU 的普通容器。须启用扩容审批与准入保护,配套 Chart 要求 Kubernetes 1.30 或更高版本;审批未启用、被拒绝或超时时不提高显存限额。 |
企业版扩展
动态显存、Turbo 模式和优先级控制由 Ascend 插件与商业版 libvnpu 配合实现;动态显存还需 HAMi Enterprise 调度器审批。三项能力的发布记录见 Chart 0.2.2,以下说明本版的使用方式与配套条件。
三项能力均使用 hami-core 软切分和已注入的配套运行库。先满足兼容性表中的版本与授权要求,再为业务容器配置对应参数。
动态显存:运行中按需扩容
动态显存适用于显存需求随输入规模或执行阶段增长的任务。任务可按初始显存额度启动,运行中需要更多显存时申请提高限额,减少在启动时就为峰值需求预留全部额度的需要。
当受控显存分配将超过当前额度时,运行库发起扩容申请;HAMi Enterprise 根据设备可分配显存与命名空间配额检查目标额度。批准后,运行库重新检查配额并尝试完成分配,无需为了提高限额而重启业务进程。目标额度按 1 GiB 向上取整,Pod 原始资源声明和 AI Core 配额保持不变。
例如,初始额度为 4 GiB 的容器,某次分配使所需额度达到 5 GiB 时,可申请提高至 5 GiB;是否批准取决于剩余可分配显存与配额。该能力只扩不缩,不提供显存换出或超出可分配容量的保证。审批拒绝、等待超时或底层分配失败时,申请仍可能以 OOM 或原生分配错误结束。
在已有业务 Pod 中合并以下配置片段,并申请一张 vNPU 和初始显存额度:
metadata:
annotations:
huawei.com/vnpu-mode: hami-core
spec:
containers:
- name: workload
env:
- name: NPU_MEMORY_AUTO_ADJUST
value: "true"
仅普通业务容器、单个 vNPU 的分配适用;初始化容器和单容器多 vNPU 不在范围内。运行库对单次分配的默认等待上限为 45 秒,可通过 NPU_MEMORY_AUTO_ADJUST_TIMEOUT_MS 调整,最大为 300000 毫秒;该设置不会延长配套审批流程自身的超时期限。完整的审批与准入配置见启用显存扩容。
Turbo 模式:独占任务使用完整算力
Turbo 适用于可信、算力独占的训练或批处理任务。启用后,运行库不再执行算力限速、提交等待和算力计时,使任务使用当前设备可用算力;显存限额、记账和经审批的动态显存扩容仍然生效。Turbo 不增加物理算力,也不预留独占设备,部署方须确保对应任务的独占使用条件。
为业务容器申请一张 vNPU 和 100% AI Core,并在该容器中设置:
env:
- name: NPU_TURBO_MODE
value: "true"
该参数默认关闭,须在业务进程启动前配置。变更模式时重建 Pod;同一本地共享内存区域中的进程须使用一致设置。Turbo 优先于 NPU_CORE_UTILIZATION_POLICY=force,不参与任务优先级仲裁。需要按优先级共享算力的任务应使用下节的受控配置。
优先级控制:共享 NPU 上的任务优先执行
优先级控制适用于同一物理 NPU 上的推理与训练等混合负载。高优先级推理开始提交计算时,低优先级训练暂停后续提交,让高优先级任务先运行;高优先级任务停止提交后,低优先级任务可继续执行。切换保留业务进程与已分配显存,不要求驱逐或重启训练任务。
业务容器通过 NPU_TASK_PRIORITY 设置优先级,默认值为 1,无符号整数越小优先级越高,0 高于 1。它决定受控任务的执行先后;算力份额仍由资源分配和算力策略决定,不要将它与表示算力份额的 NPU_PRIORITY 混用。
例如,为共享同一物理 NPU 的两个容器分别配置以下环境变量,并通过各自的资源请求设置显存与算力份额:
# 训练容器
env:
- name: NPU_CORE_UTILIZATION_POLICY
value: force
- name: NPU_TASK_PRIORITY
value: "1"
# 推理容器
env:
- name: NPU_CORE_UTILIZATION_POLICY
value: force
- name: NPU_TASK_PRIORITY
value: "0"
示例显式设置 force,使运行库按受控时间片执行,并保留按分配份额计算的平均占空比限制;高优先级任务处于休息区间时,低优先级任务仍可运行。Chart 默认的 default / spatial 使用空间算力预算,不能直接把该默认配置等同于示例中的时间片优先级控制。
抢占发生在运行库拦截的计算提交边界,已经提交的 kernel 或模型任务会自然完成,不保证固定抢占时延。该能力只控制共享物理 NPU 上的运行时计算次序,不替代 Kubernetes Pod 调度优先级,也不腾退低优先级任务占用的显存。持续的高优先级需求可能使低优先级任务长期等待;本版不提供单容器多设备的独立优先级仲裁。
三项能力如何组合
| 组合 | 使用效果与条件 |
|---|---|
| 动态显存与优先级控制 | 可组合。高优先级任务仍须拥有可用显存;提高优先级不会回收其他任务的显存,扩容仍受审批和容量约束。 |
| 动态显存与 Turbo | 可组合。Turbo 关闭算力控制,显存限额与扩容审批继续生效。 |
| Turbo 与优先级控制 | Turbo 任务不参与优先级仲裁。需要按优先级共享算力时,参与任务应关闭 Turbo,并使用受控算力策略;NPU_CORE_UTILIZATION_POLICY=disable 同样不执行优先级仲裁。 |
部署与监控同时提供 image.digest 固定镜像,以及 vnpuMonitor 指标服务、ServiceMonitor 和 PrometheusRule 配置。
版本变化
以下新增与修复以 Chart 0.3.1 / 应用 v1.4.3 为比较起点。
Chart 变更
- [开源同步] 内置
deviceConfig新增 Ascend950DT 配置,资源名为huawei.com/Ascend950DT,默认显存为98304MiB、AI Core 数量为32、templates为空。默认config.create=false,部署时仍复用已有设备 ConfigMap;新增配置的应用方式见升级说明。来源:ascend-device-plugin #149。
应用变更
- [开源同步] 修正多 NPU、多上下文场景下的计算提交路径,按调用线程当前设备和上下文处理任务,并分别维护各上下文的计时状态。上下文退出后,仍保留同一物理卡上存活进程的显存记账。多卡分配已在上一版交付,本次修复其运行行为。来源:hami-vnpu-core #44,本次补齐相关路由和上下文处理。
- [开源同步] 延迟加载 CANN/DCMI 依赖,修复容器预加载运行库后,
bash等普通命令因尚未加载 Ascend 依赖而启动失败的问题。来源:hami-vnpu-core #48。 - [开源同步] 修复应用初始化阶段查询显存时过早初始化空间算力限制的问题;显存查询保留原生内存类型、容量和错误结果,并按当前卡的配额约束返回值。实际内存池较小或为空时,不再返回虚高的可用显存。来源:hami-vnpu-core #50、#56。
- [开源同步] 修复计算调度等待和计时异常:限制计划调度窗口,过滤不完整或延迟的计时样本,将 DCMI 查询移至带超时控制的独立进程;等待执行的新请求不再覆盖上一批任务的计时流。来源:hami-vnpu-core #38、#52,仅纳入本版对应修复。
- [开源同步] 修复不同用户 ID 的容器共享物理 NPU 时,全局共享状态文件权限导致的
Permission denied。新建文件使用可跨用户读写的权限;已有文件需按升级说明处理。来源:hami-vnpu-core #57。 - [开源同步]
hami-core节点启动时,忙碌芯片暂时无法启用共享模式不再导致整个插件退出。插件暂缓向 kubelet 和 HAMi 上报该芯片,其他芯片继续可用;忙碌任务结束后自动重试,切换成功再恢复上报。其他类型的切换错误仍会使启动失败。来源:ascend-device-plugin #137。 - [开源同步] 默认启用遗留空闲 vNPU 的周期回收,结合 Pod 状态、kubelet 分配记录和驱动状态判断是否可回收。默认检查间隔为
60秒,须经过10分钟保护期并连续确认3次;存在使用中的 Pod 或无法确认分配状态时不回收。启动及重启清理也使用同一检查机制。来源:ascend-device-plugin #142。 - [开源同步] 新增 Ascend950DT 的 DCMI v2 设备发现和整卡分配路径。每张物理卡仅上报一个设备,须使用
template模式和空模板列表;本版不提供该型号的软切分。发现暂时失败时,保留已知设备并标记为不健康,避免继续分配。来源:ascend-device-plugin #149。
升级说明
从 Chart 0.3.1 迁移软切分工作负载
本版随附 libvnpu v1.5.0,本地共享内存协议由版本 3 升至 4,不能直接复用旧本地状态。仅滚动设备插件不会更新已运行容器中的库和挂载。
- 记录受影响容器实际使用的
NPU_LOCAL_SHM_PATH、NPU_GLOBAL_SHM_PATH及宿主机挂载映射,停止待升级的旧版软切分工作负载,确认所有使用待迁移本地文件的进程均已退出。 - 清理这些工作负载拥有的旧本地状态文件,或使用全新的本地路径。默认容器路径为
/hami-vnpu-shmem/vnpu_local_shmem.device-<物理设备 ID>,对应宿主机/usr/local/hami-vnpu-core/containers/<Pod UID>_<容器名>/vnpu_local_shmem.device-<物理设备 ID>。如设置了HOOK_PATH或自定义路径,以实际挂载为准。不要删除仍被运行中进程使用的文件。 - 已有全局状态文件不会自动修复权限。跨用户共享场景应检查对应文件是否允许参与容器读写;沿用产品默认权限时,将已确认的对应文件原地调整为
0666。默认宿主机路径为/usr/local/hami-shared-region/global_registry.device-<物理设备 ID>,编号是物理设备 ID,不是容器内的逻辑序号。若选择重新创建全局文件,须先停止共享该文件的全部工作负载。 - 升级插件,确认配套运行库及
vnpu-dcmi辅助程序已安装,且节点设备已恢复注册,再重新创建工作负载。默认分配流程会为新容器建立本地状态目录,并挂载配套运行库和辅助程序;不要让新旧运行库共用同一本地状态文件。
检查镜像与启动参数
- 本版默认插件镜像为
ghcr.io/dynamia-ai/ascend-device-plugin:v1.5.0。固定了image.tag时须更新标签;设置了image.digest时须更新为目标镜像摘要或清空该值,摘要的优先级高于标签。 - 已显式设置
--enable_periodic_idle_vnpu_cleanup=false的部署会保留原设置。需要启用周期回收时,将其改为true或移除该覆盖。保护期和确认次数分别通过--idle_vnpu_cleanup_grace_period=10m、--idle_vnpu_cleanup_confirmations=3调整;在 Chart 的daemonSet.args中追加时保留现有配置文件参数,更新后重启插件。 - 从更早应用升级
hami-core部署前,满足v2.10.0-r2配套要求并完成许可证激活。该要求随应用v1.4.3引入;已经满足时,本次运行库修复无需再次升级 Enterprise。
使用企业版显存扩容
先满足兼容性表中的配套要求,在 HAMi Enterprise Chart 中设置 devices.ascend.enabled=true、scheduler.admissionWebhook.enabled=true,确认 vNPU 扩容校验 webhook 已启用。使用 2.10 系列时,还须设置 dra.enabled=false。Chart 2.11.0-r0 已移除 DRA 集成,并拒绝 dra、hami-dra 配置,包括 dra.enabled=false;使用该版本时不要添加这些配置段。
完成运行库迁移后,为普通容器设置字面量 NPU_MEMORY_AUTO_ADJUST=true,Pod 显式指定 huawei.com/vnpu-mode: hami-core,且该容器仅分配一个 vNPU。满足这些条件的现有部署无需重复升级 Enterprise;初始化容器和单容器多 vNPU 不在自动扩容范围内。
配置 Ascend950DT
默认 config.create=false 时,在调度器与插件实际共用的设备 ConfigMap 中,为 device-config.yaml 的 vnpus.configs 列表补充以下条目,并保留其他型号配置。相比插件内置条目,共用配置还需为 Enterprise 调度器补充显存资源名:
- chipName: Ascend950DT
commonWord: Ascend950DT
resourceName: huawei.com/Ascend950DT
resourceMemoryName: huawei.com/Ascend950DT-memory
memoryAllocatable: 98304
memoryCapacity: 98304
memoryFactor: 1
aiCore: 32
templates: []
这些默认值对应 96 GiB 显存、32 个 AI Core 的设备配置;其他规格须按实际硬件调整,插件会校验显存容量和 AI Core 数量。若由调度器注入 RuntimeClass,在该条目中沿用集群实际的 runtimeClassName。
在 HAMi Enterprise Chart 的 devices.ascend.customresources 列表中追加 huawei.com/Ascend950DT 和 huawei.com/Ascend950DT-memory,保留原有资源名。将 Ascend950DT 节点配置中的 hamiVnpuMode 设为 template,vDeviceCount 设为 1;节点配置可覆盖全局软切分模式。同步使调度器与插件加载更新后的配置,再创建在 requests 和 limits 中声明相同 huawei.com/Ascend950DT 整卡数量的工作负载。
若启用了 config.create=true,内置配置会包含该型号;与 Enterprise 调度器共用时仍须补齐上述调度字段。完整覆盖了 deviceConfig 字符串的部署需自行补充配置。
查看Chart 与 appVersion 对应关系或软件中心。
Values 说明
以下参数说明取自 Chart 0.4.0 发布包随附的 README,保留原文。默认配置以该版本的 values.yaml 为准。
展开参数表
| Key | Type | Default | Description |
|---|---|---|---|
| config.create | bool | false | Create the bundled device configuration ConfigMap for an installation without HAMi. Leave disabled when HAMi owns the device configuration. |
| config.deviceConfigMapName | string | "hami-scheduler-device" | Name of the device configuration ConfigMap created when config.create=true. |
| config.existingDeviceConfigMapName | string | "hami-scheduler-device" | HAMi-managed device configuration ConfigMap to reuse when config.create=false. The ConfigMap must be in the release namespace. |
| daemonSet.args[0] | string | "--config_file" | |
| daemonSet.args[1] | string | "/device-config.yaml" | |
| daemonSet.args[2] | string | "--v=4" | |
| daemonSet.args[3] | string | "--node_config_file" | |
| daemonSet.args[4] | string | "/node-config.yaml" | |
| daemonSet.name | string | "hami-ascend-device-plugin" | Device plugin DaemonSet name. |
| deviceSplitCount | int | 10 | Number of virtual devices advertised per physical Ascend NPU in hami-core or enpu mode when this chart creates the device configuration. A positive node-level vDeviceCount overrides it; ENPU caps the count at 100. |
| enpu.configRoot | string | "/var/lib/hami-enpu" | Host directory for per-container ENPU configs. |
| enpu.defaultPolicy | string | "elastic" | Default ENPU scheduling policy. |
| enpu.exposeAllDevices | bool | false | Expose all davinci devices; keep false for device isolation. |
| enpu.managerConfigRoot | string | "" | Manager config_dir or its vcann-rt subdirectory; empty uses configRoot. |
| enpu.managerURL | string | "" | Optional node-local enpu-manager REST endpoint. |
| enpu.monitorPath | string | "/usr/local/enpu/vcann-rt/tools/enpu-monitor" | Host path to enpu-monitor. |
| enpu.preloadPath | string | "/usr/local/enpu/vcann-rt/ld.so.preload" | Host path to ld.so.preload. |
| enpu.runtimePath | string | "/usr/local/enpu/vcann-rt/lib/libvruntime.so" | Host path to libvruntime.so. |
| enpu.systemdDetectVirtPath | string | "" | Optional host binary; prefer providing it in the workload image. |
| fullnameOverride | string | "" | Override the fully qualified resource name. |
| hamiVnpuCore.coreUtilizationPolicy | string | "default" | Default utilization override for containers without NPU_CORE_UTILIZATION_POLICY. default permits hamiCorePolicy (spatial by default); explicit force and disable retain precedence. |
| hamiVnpuCore.defaultPolicy | string | "spatial" | Default hami-core compute policy: spatial, dynamic, fixed, or overdraft. Pod huawei.com/npu-sched-policy and node hamiCorePolicy override it. |
| hamiVnpuCore.deviceCoreScaling | float | 1 | hami-core compute oversell ratio. The plugin advertises Devcore = round(100 * deviceCoreScaling) so HAMi can admit more than 100% of -core on one card. Values below 1 are not supported. |
| hamiVnpuCore.enabled | bool | false | Enable hami-vnpu-core in the bundled device configuration when config.create=true. This mode requires the HAMi scheduler. |
| hamiVnpuMode | string | "" | Default backend: template, hami-core (alias hamiCore), or enpu. Empty uses template, or hami-core if the deprecated hamiVnpuCore.enabled is true. Node mode takes priority. |
| image.digest | string | "" | Optional immutable OCI manifest digest. When set, it takes precedence over image.tag. |
| image.pullPolicy | string | "IfNotPresent" | Kubernetes image pull policy. |
| image.repository | string | "ghcr.io/dynamia-ai/ascend-device-plugin" | Container image repository. |
| image.tag | string | "" | Container image tag. Defaults to the chart appVersion when empty. |
| nameOverride | string | "" | Override the chart name used in resource names. |
| nodeConfig | string | "nodes: []" | Per-node hami-vnpu-core configuration written to the node ConfigMap. |
| nodeConfigMap.create | bool | true | Create the per-node configuration ConfigMap. |
| nodeConfigMap.name | string | "hami-device-node-config" | Per-node configuration ConfigMap name. |
| nodeSelector.ascend | string | "on" | Node label value used to schedule the device plugin. |
| rbac.name | string | "hami-ascend" | Name shared by the chart-managed RBAC resources. |
| resources.limits.cpu | string | "500m" | |
| resources.limits.memory | string | "500Mi" | |
| resources.requests.cpu | string | "500m" | |
| resources.requests.memory | string | "500Mi" | |
| runtimeClass.create | bool | true | Create the Ascend RuntimeClass. |
| runtimeClass.handler | string | "ascend" | Container runtime handler used by the RuntimeClass. |
| runtimeClass.name | string | "ascend" | RuntimeClass resource name. |
| serviceAccount.create | bool | true | Create a ServiceAccount for the device plugin. |
| serviceAccount.name | string | "hami-ascend" | ServiceAccount name. |
| vnpuMonitor.enabled | bool | false | Expose device plugin metrics and create optional Prometheus Operator resources. |
| vnpuMonitor.prometheusRule.create | bool | true | Create a PrometheusRule when vnpuMonitor.enabled=true. |
| vnpuMonitor.prometheusRule.groupLabels.vendor | string | "ascend" | |
| vnpuMonitor.prometheusRule.groupName | string | "ascend-vnpu" | Recording-rule group name. |
| vnpuMonitor.prometheusRule.interval | string | "15s" | Recording-rule evaluation interval. |
| vnpuMonitor.prometheusRule.labels.release | string | "prometheus" | |
| vnpuMonitor.prometheusRule.labels.role | string | "recording-rules" | |
| vnpuMonitor.prometheusRule.labels.vendor | string | "ascend" | |
| vnpuMonitor.prometheusRule.name | string | "hami-ascend-vnpu-monitor" | PrometheusRule resource name. |
| vnpuMonitor.prometheusRule.namespace | string | "monitoring" | Namespace for the PrometheusRule. |
| vnpuMonitor.service.name | string | "hami-ascend-device-plugin-metrics" | Headless Service that exposes the device plugin metrics port. |
| vnpuMonitor.serviceMonitor.create | bool | true | Create a ServiceMonitor when vnpuMonitor.enabled=true. |
| vnpuMonitor.serviceMonitor.interval | string | "15s" | Prometheus scrape interval. |
| vnpuMonitor.serviceMonitor.labels.release | string | "prometheus" | |
| vnpuMonitor.serviceMonitor.name | string | "hami-ascend-vnpu-monitor" | ServiceMonitor resource name. |
| vnpuMonitor.serviceMonitor.namespace | string | "monitoring" | Namespace for the ServiceMonitor. |
| vnpuMonitor.serviceMonitor.path | string | "/metrics" | Metrics HTTP path. |