最新最快科技资讯
太阳能光伏网

微软发布开源三值大模型BitNet b1.58 2B4T,能效比显著提升

微软研究团队近日推出开源大型语言模型BitNet b1.58 2B4T,采用创新的1.58位低精度架构原生训练,性能接近同规模全精度模型,但资源占用大幅降低。该模型仅需0.4GB非嵌入内存,远低于Gemma-3 1B等竞品。

BitNet的核心突破在于其三值权重系统(-1、0、+1),结合8位整数量化激活值,形成W1.58A8配置,并通过改进Transformer架构确保训练稳定性。测试显示,其在数学、物理常识等任务中表现优异,能耗低至每token 0.028焦耳。

目前,该模型已开源,但需配合微软专用框架以发挥效能优势。未来微软计划扩展多语言支持及硬件优化,进一步挖掘低位模型的潜力。

最新相关

万丰奥威2024年增收不增利 净利润下滑逾10%

万丰奥威(SZ: 002085)近日披露2024年年度报告,全年实现营业收入162.64亿元,同比增长0.35%,但归母净利润为6.53亿元,同比下降10.14%。公司毛利率和净利率均出现下滑,分别降至16.53%和5.17%。期...

英伟达更新虚幻引擎 DLSS 插件,全面支持 UE5.6

英伟达于7月4日宣布,已更新适用于虚幻引擎的 DLSS 插件,正式为虚幻引擎 5.6 带来 DLSS 4 支持。此次升级使开发者能够更便捷地在项目中集成最新 AI 技术,包括多帧生成、超分辨率和光线重建等功...

iOS 26引入"液态玻璃"设计,界面美学全面升级

苹果在iOS 26系统中首次融入"液态玻璃"(Liquid Glass)设计语言,带来主界面视觉与交互体验的多重升级。应用图标呈现半透明玻璃叠加效果,Safari、地图等原生应用及部分第三方图标均统一采用该风...