在DeepSeek开源周第四日,摩尔线程宣布成功支持DeepSeek的开源通信库DeepEP和并行算法DualPipe,并发布相关代码仓库:MT-DeepEP和MT-DualPipe。
DeepEP是专为MoE(混合专家)模型训练和推理设计的通信库,适用于大模型集群训练。它通过优化通信信道使用率,显著提升了训练效率。摩尔线程基于MUSA Compute Capability 3.1全功能GPU适配了DeepEP,支持高效All-to-All通信、节点内通信、高吞吐量计算核心及低延迟推理解码等功能,并原生支持FP8数据分发。
DualPipe则是DeepSeek-V3提出的双向流水线并行算法,通过计算与通信完全重叠,减少了设备空闲等待现象。摩尔线程依托深度学习框架Torch-MUSA和MUSA软件栈的兼容性,实现了对DualPipe的支持。MT-DualPipe可接入MT-Megatron和即将开源的MT-TransformerEngine框架,进一步降低气泡占比,优化通信效率,实现更高效的计算资源利用。