字节跳动Seed团队今日正式开源全模态PyTorch原生训练框架VeOmni,该框架旨在解决多模态大模型训练中的系统性工程挑战。随着AI技术从单一文本向图像、语音、视频等全模态方向发展,传统训练方法面临巨大工程压力。
VeOmni采用以模型为中心的分布式训练方案,将复杂的并行逻辑与模型计算解耦,使研究人员能像搭积木一样组合并行训练策略。相较于传统框架需要数周的工程开发时间,VeOmni可将这一过程缩短至几天。实验数据显示,基于该框架训练的300亿参数全模态MoE模型,在128张GPU上训练吞吐量超过2800 tokens/sec/GPU,并能支持160K超长上下文序列。
目前,VeOmni的相关论文和代码已在arXiv和GitHub平台开源,获得超过500个GitHub Star。

扫一扫关注微信