跳到主要内容

5 篇博文 含有标签「volcano」

查看所有标签

Volcano v1.16 发布:新增 NamespaceQueue 与 fairshare 并拓展 HyperNode 生态

· 阅读需 23 分钟

Volcano v1.16.0 新增 NamespaceQueue 和 fairshare 插件。NamespaceQueue 支持租户在自己的命名空间内使用 Volcano 的层级队列能力,在管理员授权的资源范围内配置队列配额、组织队列层级。fairshare 则将同一队列内各命名空间的历史资源用量纳入调度排序,改善多团队共享资源时的公平性。

本次版本还进一步拓展了 HyperNode 生态。使用其他调度器的平台,可以单独部署 HyperNode 控制器,复用拓扑发现逻辑、维护超节点及其层级关系,再通过 HyperNode API 将拓扑信息接入自己的调度流程。对于使用 Volcano 的推理服务,新增的 PodGroup 拓扑反亲和规则则可以将多个实例分散到不同超节点,降低实例集中在同一故障域的风险。

调度性能方面,新增的 Unschedulable Job Cache 缓存作业的调度失败原因,在阻塞条件未变化时跳过重复检查。节点打分、缓存更新与队列查询也有优化,进一步提升调度效率。此外,v1.16.0 还包含 Kubernetes 1.36 适配、批量 Pod 调度时的负载估算、DRA 打分,以及异构资源和稳定性方面的改进。

Volcano v1.15发布:Gang粒度抢占、DRA队列配额等多项调度能力增强

· 阅读需 13 分钟

随着批量训练、推理、AI Agent、HPC、大数据等多种负载在同一 Kubernetes 集群中混合部署,调度器需要在资源竞争更加激烈的环境下做出更高质量的决策,同时保持作业级语义、队列公平性、拓扑亲和性与运行稳定性。Volcano v1.15.0 现已正式发布,围绕这些方向,在调度核心、异构资源管理、多调度器协同与性能可观测等方面进行了增强。

本次最值得关注的新增能力是 Gang-Aware Preemption and Resource Reclamation:抢占决策在抢占方与被抢占方两侧均以 Gang 为整体进行评估——抢占方按 Gang 整体进行放置,被抢占候选者同样按 Gang 粒度进行排序和评估,优先驱逐冗余副本,避免逐 Pod 随机驱逐打断多个训练任务而抢占方自身仍无法启动的情况。此外,v1.15.0 在 capacity 插件中引入了 DRA 队列配额,新增了可插拔的多分片策略框架以及 Benchmark 与性能可观测工具,支持 Kubernetes 1.35,并在 NodeGroup 调度优先级、Agent Scheduler 稳定性、GPU/vGPU 及队列准入控制等方面做了补充增强。

Volcano v1.14 重磅发布!迈向 AI 统一调度新纪元

· 阅读需 14 分钟

Volcano 社区 v1.14 现已正式发布。随着 AI 业务形态从单一的离线训练向在线推理、Agent 智能体等多元化场景延伸,调度系统面临着前所未有的挑战。v1.14 通过架构级的创新,在保持大规模批量计算优势的同时,补齐了对延迟敏感型业务的调度短板,向着"AI 训推、RL、Agent 全场景统一调度平台"的目标迈出了坚实一步。

Volcano 完成 2025 年度安全审计

· 阅读需 6 分钟
Adam Korczynski
Xavier Chang
Huawei and Volcano maintainer

Volcano 很高兴地宣布,我们已完成了由 CNCF 资助的安全审计工作。此次审计由 Ada Logics 负责执行,OSTIF 负责协调,并得到了 Volcano 维护者团队的通力协作。此次审计的范围涵盖了 Volcano 的源代码、供应链风险以及模糊测试(fuzzing)环节。审计团队共识别出 10 个安全问题,Volcano 安全团队已在审计工作结束的同时完成了对这些问题的修复。

Volcano 在 AI 和大数据场景下的云原生批量计算实践

· 阅读需 4 分钟

云原生批量计算引擎 Volcano 专为 AI、大数据、基因测序、渲染等高性能计算应用场景而设计,并支持各类主流的通用计算框架。目前,全球已有超过 58,000 名开发者加入了 Volcano 社区,其中核心贡献者来自华为、AWS、百度、腾讯、京东、小红书等知名企业。该项目在 GitHub 上已获得超过 3700 个 Star 和 800 多个 Fork。Volcano 已被证实能够胜任 AI、大数据、基因测序等领域的海量数据计算与分析任务。其支持的计算框架涵盖 Spark、Flink、TensorFlow、PyTorch、Argo、MindSpore、PaddlePaddle、Kubeflow、MPI、Horovod、MXNet、KubeGene 以及 Ray。随着越来越多的开发者和应用案例涌现,Volcano 的生态系统正呈现出蓬勃发展的态势。