跳到主要内容

17 篇博文 含有标签「Practice」

查看所有标签

Volcano社区发布Kthena子项目: 重新定义大模型智能推理

· 阅读需 12 分钟

今天,我们激动地向全球开发者和 MLOps 工程师宣布,Volcano 社区迎来了一个新的子项目 Kthena!Kthena 是一个专为 Kubernetes 设计的、云原生、高性能的 LLM 推理路由和编排、调度系统。它旨在解决在生产环境中大规模编排、部署和服务 LLM 所面临的核心挑战,通过其独特的超节点拓扑感知的亲和性调度,KV Cache 感知的流量调度、Prefill/Decode 分离路由等高级功能,显著提升 GPU/NPU 资源利用率和吞吐,降低推理延迟,并赋予企业前所未有的灵活性和控制力。作为 Volcano 的子项目,Kthena将致力于帮助 Volcano 扩展除 AI 训练之外的边界,打造训推一体的完整解决方案。

Volcano v1.12.0正式发布

· 阅读需 20 分钟

Volcano v1.12 正式发布!驱动云原生AI与批量计算向智能高效新阶段演进

随着AI大模型技术的快速发展,企业对计算资源利用效率和应用性能的要求日益提高。在AI、大数据及高性能计算(HPC)等复杂应用场景下,如何高效利用GPU等异构加速器、保障系统高可用性并精细化管理资源,是Volcano社区持续探索和创新的核心方向。

Volcano v1.11.0正式发布

· 阅读需 24 分钟

作为云原生批量计算领域的事实标准,Volcano已经在AI、Big Data及高性能计算 (HPC) 等多种场景中获得广泛应用,吸引了来自30多个国家的800多名贡献者,累计代码提交数万次。Volcano已在国内外60+企业进行了生产落地,经受住了实际生产环境的考验,赢得了用户的广泛赞誉,为业界提供了云原生批量计算的卓越实践标准与解决方案。

Volcano v1.7.0正式发布

· 阅读需 7 分钟

北京时间2023年1月9日,Volcano社区v1.7.0版本正式发布。此次版本增加了以下新特性:

  • Pytorch Job强化功能插件
  • Ray on Volcano
  • 增强Volcano对Kubernetes通用服务的调度能力
  • 支持Volcano的多架构镜像
  • 优化队列状态信息等

Volcano是业界首个云原生批量计算项目,于2019年6月在上海KubeCon正式开源,并在2020年4月成为CNCF官方项目。2022年4月,Volcano正式晋级为CNCF孵化项目。Volcano社区开源以来,受到众多开发者、合作伙伴和用户的认可和支持。截止目前,累计有490+全球开发者向项目贡献了代码。

ING基于volcano的大数据分析平台应用实践

· 阅读需 8 分钟

2022年10月26日,ING集团在北美KubeCon发表了《Efficient Scheduling Of High Performance Batch Computing For Analytics Workloads With Volcano - Krzysztof Adamski & Tinco Boekestijn, ING》主题演讲,重点介绍了云原生批量计算项目Volcano如何在数据管理平台中为大数据分析作业提供高性能调度工作。详情参见:KubeCon + CloudNativeCon North America