一个用于高性能工作负载场景下基于Kubernetes的容器批量调度引擎
Volcano是在Kubernetes上运行高性能工作负载的容器批量计算引擎。 它提供了Kubernetes目前缺少的一套机制,这些机制通常是许多高性能 工作负载所必需的,包括:
- 机器学习/深度学习
- 生物学计算/基因计算
- 大数据应用
这些类型的应用程序通常运行在像Tensorflow、Spark、PyTorch、 MPI等通用领域框架上,Volcano无缝对接这些框架。
Volcano基于15年来使用多种系统和平台大规模运行各种高性能工作负载 的经验,并结合来自开源社区的最佳思想和实践。
在Kubernetes集群中部署高性能应用的最佳解决方案
Apache Spark™是用于大规模数据处理的统一分析引擎.
Apache Flink是一个框架和分布式处理引擎,用于无限制和有限制的数据流上的状态计算.
端到端开源机器学习平台.
一个开源的机器学习框架,可加快从研究原型到生产部署的过程.
Argo Workflows是一个开源容器原生工作流引擎,用于在Kubernetes上协调并行作业。 Argo Workflows作为Kubernetes CRD实施.
华为开发的全场景深度学习框架.
PaddlePaddle是一个由百度发起的工业实践衍生的开源深度学习平台.
Kubeflow项目致力于使Kubernetes上的机器学习(ML)工作流部署简单,可移植且可扩展.
OpenMPI项目是一个开源消息传递接口实现,由学术,研究和行业合作伙伴联盟开发和维护.
Horovod是针对TensorFlow,Keras,PyTorch和Apache MXNet的分布式深度学习培训框架.
一个真正的开源深度学习框架,适用于灵活的研究原型和生产.
KubeGene致力于简化,便携式和可扩展的基因组测序过程.