最新最快科技资讯
太阳能光伏网

合成数据助力大模型性能飞跃: 谷歌等团队研究揭示新突破

谷歌、卡内基梅隆大学和MultiOn的联合研究团队近日发表了一项关于合成数据在大型模型训练中的创新研究。随着ChatGPT等大模型的快速发展,高质量训练数据的需求激增。Epoch AI报告指出,全球现有约300万亿个高质量文本训练标记,但预计到2026年将被耗尽,合成数据因此成为关键替代方案。

研究团队探索了正向和负向两类合成数据。正向数据由高性能模型生成,提供正确的问题解决方案,而负向数据则包含已验证的错误步骤,帮助模型避免逻辑陷阱。通过直接偏好优化(DPO)方法,模型能够动态调整学习策略,显著提升推理能力。实验显示,经过合成数据训练的模型在数学推理任务上性能提升高达八倍,展现了合成数据在大模型优化中的巨大潜力。

最新相关

中信建投: 慢牛行情或有两种演化路径

8月17日,中信建投证券研报指出,本轮始于6月23日的慢牛行情存在两种后续演化可能: 一是市场回调整固后延续慢牛格局;二是因交易过热或结构恶化引发大幅回调,结束本轮行情。研报指出当前市场呈...

世界人形机器人运动联合会成立

2025年8月17日,世界人形机器人运动联合会正式宣告成立。同日,赛事主办方宣布第二届世界人形机器人运动会将于2026年8月在北京举办,旨在推动全球人形机器人技术交流与体育赛事融合发展。免责声...

EA计划将《战地》系列调整为年度发行模式

行业分析师Michael Patcher透露,《战地》系列总经理Byron Beede表示,EA计划将该系列打造为年度发行作品。为实现这一目标,EA拟安排三家工作室采用三年轮换的开发周期,确保每年推出一部新作。目...

罗永浩曝董宇辉年入28亿,与辉同行否认

罗永浩16日转发微博称,董宇辉自立门户创立与辉同行后,年收入达到 "二三十个亿",并提到在离职东方甄选前还需要借钱交首付。这一言论迅速引发舆论关注。对此,与辉同行方面向第一财经记者回应称,...

飓风"埃林"来袭 加勒比海岛国面临暴雨灾害

加勒比海岛国面临飓风"埃林"带来的暴雨、洪水和山体滑坡等灾害。该飓风曾于24小时内从一级迅速增强至五级,最大持续风速接近每小时255公里,是有记录以来增强速度最快的飓风之一。尽管目前已减...