跳到主要内容

Volcano 在 AI 和大数据场景下的云原生批量计算实践

· 阅读需 4 分钟

云原生批量计算引擎 Volcano 专为 AI、大数据、基因测序、渲染等高性能计算应用场景而设计,并支持各类主流的通用计算框架。目前,全球已有超过 58,000 名开发者加入了 Volcano 社区,其中核心贡献者来自华为、AWS、百度、腾讯、京东、小红书等知名企业。该项目在 GitHub 上已获得超过 3700 个 Star 和 800 多个 Fork。Volcano 已被证实能够胜任 AI、大数据、基因测序等领域的海量数据计算与分析任务。其支持的计算框架涵盖 Spark、Flink、TensorFlow、PyTorch、Argo、MindSpore、PaddlePaddle、Kubeflow、MPI、Horovod、MXNet、KubeGene 以及 Ray。随着越来越多的开发者和应用案例涌现,Volcano 的生态系统正呈现出蓬勃发展的态势。

Volcano 社区共建计划

· 阅读需 9 分钟

随着人工智能技术的高速发展,以及大语言模型的推广应用,各行各业对智能算力的需求呈爆发式增长,除了AI芯片等硬件设备的支持,对于AI任务的高性能智能调度也是重中之重。

Volcano v1.7.0正式发布

· 阅读需 7 分钟

北京时间2023年1月9日,Volcano社区v1.7.0版本正式发布。此次版本增加了以下新特性:

  • Pytorch Job强化功能插件
  • Ray on Volcano
  • 增强Volcano对Kubernetes通用服务的调度能力
  • 支持Volcano的多架构镜像
  • 优化队列状态信息等

Volcano是业界首个云原生批量计算项目,于2019年6月在上海KubeCon正式开源,并在2020年4月成为CNCF官方项目。2022年4月,Volcano正式晋级为CNCF孵化项目。Volcano社区开源以来,受到众多开发者、合作伙伴和用户的认可和支持。截止目前,累计有490+全球开发者向项目贡献了代码。

ING基于volcano的大数据分析平台应用实践

· 阅读需 8 分钟

2022年10月26日,ING集团在北美KubeCon发表了《Efficient Scheduling Of High Performance Batch Computing For Analytics Workloads With Volcano - Krzysztof Adamski & Tinco Boekestijn, ING》主题演讲,重点介绍了云原生批量计算项目Volcano如何在数据管理平台中为大数据分析作业提供高性能调度工作。详情参见:KubeCon + CloudNativeCon North America

Volcano v1.4.0-Beta发布,支持NUMA-Aware等多个重要特性

· 阅读需 3 分钟
Thor-wl
Volcano Contributor

本文2021年9月6日首发于容器魔方微信公众号,原文链接Volcano v1.4.0-Beta发布,支持NUMA-Aware等多个重要特性

北京时间9月4日,CNCF首个批量计算项目Volcano发布v1.4.0-Beta版本。该版本发布了“支持GPU节点多维度资源比例分片”、“支持NUMA-Aware”、“支持多调度器混合部署”等多个重要特性,并在稳定性方面具有显著提升。