最新最快科技资讯
太阳能光伏网

摩尔线程支持DeepSeek开源通信库和并行算法,提升大模型训练效率

在DeepSeek开源周第四日,摩尔线程宣布成功支持DeepSeek的开源通信库DeepEP和并行算法DualPipe,并发布相关代码仓库:MT-DeepEP和MT-DualPipe。

DeepEP是专为MoE(混合专家)模型训练和推理设计的通信库,适用于大模型集群训练。它通过优化通信信道使用率,显著提升了训练效率。摩尔线程基于MUSA Compute Capability 3.1全功能GPU适配了DeepEP,支持高效All-to-All通信、节点内通信、高吞吐量计算核心及低延迟推理解码等功能,并原生支持FP8数据分发。

DualPipe则是DeepSeek-V3提出的双向流水线并行算法,通过计算与通信完全重叠,减少了设备空闲等待现象。摩尔线程依托深度学习框架Torch-MUSA和MUSA软件栈的兼容性,实现了对DualPipe的支持。MT-DualPipe可接入MT-Megatron和即将开源的MT-TransformerEngine框架,进一步降低气泡占比,优化通信效率,实现更高效的计算资源利用。

最新相关

小米手表S4发布: 搭载玄戒T1芯片售价1299元

5月22日,小米正式发布新款智能手表S4。该款手表搭载「玄戒T1」长续航4G手表芯片,具备更强性能与更长续航能力。售价定为1299元,适合追求高效健康管理及智能体验的用户群体。免责声明: 本文内容...

神舟二十号航天员创最快出舱纪录

5月22日,神舟二十号航天员乘组完成首次出舱活动。他们于本月入驻中国空间站,仅用不到一个月时间便实现出舱,创下空间站全面建成后入轨与首次出舱最短间隔纪录。此举彰显了中国航天技术的高效与...

小米平板7Ultra发布: 厚度仅5.1mm,重量609g

小米正式发布新款平板7Ultra,机身厚度仅为5.1mm,重量轻至609g,成为超薄便携的代表。该产品在设计上注重轻量化,为用户提供更舒适的持握体验,适合移动办公与娱乐需求。免责声明: 本文内容由开放...

希荻微拟3000万美元增资全资子公司香港希荻微

5月22日,希荻微发布公告称,为推动智能视觉感知业务发展,公司将向全资子公司香港希荻微增资3000万美元。随着境外子公司业务规模扩大,此次增资旨在满足其运营需求。增资后,公司仍持有香港希荻微...

天铁科技与欣界能源达成固态电池战略合作

5月22日,天铁科技与深圳欣界能源签署战略合作框架协议。双方将在固态电池锂金属负极材料的供应、研发及生产领域展开合作。根据协议,天铁科技将为欣界能源提供电池级锂金属产品,年供应量不低于...