最新最快科技资讯
太阳能光伏网

合成数据助力大模型性能飞跃: 谷歌等团队研究揭示新突破

谷歌、卡内基梅隆大学和MultiOn的联合研究团队近日发表了一项关于合成数据在大型模型训练中的创新研究。随着ChatGPT等大模型的快速发展,高质量训练数据的需求激增。Epoch AI报告指出,全球现有约300万亿个高质量文本训练标记,但预计到2026年将被耗尽,合成数据因此成为关键替代方案。

研究团队探索了正向和负向两类合成数据。正向数据由高性能模型生成,提供正确的问题解决方案,而负向数据则包含已验证的错误步骤,帮助模型避免逻辑陷阱。通过直接偏好优化(DPO)方法,模型能够动态调整学习策略,显著提升推理能力。实验显示,经过合成数据训练的模型在数学推理任务上性能提升高达八倍,展现了合成数据在大模型优化中的巨大潜力。

最新相关

小米王化: 汽车交付时间将动态更新

6月29日,小米公关部总经理王化表示,小米汽车APP中显示的交付时间为预估参考,实际交付周期将根据锁单量和产能情况动态调整。随着产线效率提升,交付时间可能变化,并将在APP中实时更新。免责声明...

山东省新能源商用车重点实验室揭牌

6月29日,山东省新能源商用车安全与节能重点实验室(筹)第一届理事会暨学术委员会会议在中通客车召开。该实验室聚焦新能源商用车的安全与节能技术研究,旨在突破行业共性技术瓶颈,推动技术创新和...

红板科技主板IPO获受理 拟募资20.57亿元

6月28日,上交所官网显示,江西红板科技股份有限公司主板IPO获得受理。红板科技专注于印制电路板的研发、生产和销售,产品面向中高端应用市场,具备高精度、高密度和高可靠性等特点。公司拟募集资...

中国广电完成5G应急通信试点 实现三项首创

人民财讯6月29日电 ,近日,中国广电集团联合中广电移动、广东广电网络在广东汕尾市完成模拟'三断'场景下的5G应急通信技术系列试点工作。此次试点实现三项行业首创: 全国首个广播电视大塔5G 700...

四川启动四级防汛应急响应

6月29日11时,四川省根据气象预测及雨水情趋势,启动四级防汛应急响应。同时,四川省水利厅将洪水灾害防御响应由四级升为三级。此次调整依据相关应急预案作出,旨在应对即将到来的强降雨天气,确保...

稳健医疗获最多机构调研

6月29日讯,近一周有230多只个股获机构调研,稳健医疗成为最受关注的公司。公司在调研中表示,"6·18"大促期间消费品业务表现良好,通过产品创新、精准营销等手段实现增长。汇川技术也获逾百家机...

玉禾田启用新总部,进军机器人领域

6月28日,玉禾田环境发展集团正式启用位于深圳福田区的新总部--玉禾田大厦,并与智元机器人签约合作。双方共同发起成立"玉禾田智创中心",聚焦人工智能、多模态交互等前沿技术领域。与此同时,玉...