华为openPangu-2.0-Pro模型正式开源上线

31 07月 2026

2026-07-31 11:52

【太平洋科技快讯】7月31日，华为官宣，openPangu-2.0-Pro模型及技术报告正式开源上线。

据了解，开源盘古openPangu是华为开源AI大模型系列，依托N腾原生训练与推理全链路适配，为行业提供基于N腾硬件的落地参考方案，夯实智能Agent底层技术底座，推动AI商业化落地与开源生态完善。

此前在HDC 2026华为开发者大会上，华为常务董事、终端BG董事长余承东正式发布了开源盘古openPangu 2.0。该系列分为Flash、Pro两款模型，统一支持512K超长上下文窗口，两款模型参数规格存在区分：

openPangu-2.0-Pro总参505B、激活参数量18B

openPangu-2.0-Flash总参920B、激活参数量6B

6月30日，openPangu-2.0-Flash大模型已正式开源。

今日， openPangu-2.0-Pro模型(模型权重、基础推理代码)及技术报告也开源上线了。

openPangu-2.0-Pro为混合专家MoE架构大语言模型，整体参数量505B，单Token激活参数18B，训练数据集总量达34万亿Token。模型经过多轮后处理优化，融合快慢一体化监督微调、多场景专项强化学习，并借助在线蒸馏技术统一综合能力。

该模型在底层架构完成多重技术迭代：注意力模块沿用轻量化MLA方案，搭配DSA+SWA分层混合结构，层级配比1:2，分别处理局部文本窗口与全局稀疏信息，在保障输出精度前提下，大幅削减长文本推理阶段算力、显存占用；网络拓扑改用四分支mHC残差结构，增强特征表达多样性与泛化性能；新增三头MTP自投机模块，单次可并行预测3个Token，有效提升推理吞吐；训练环节引入Muon优化器，加快模型收敛效率。