2025-02-06 09:09
上周五发布的一份研究报告显示，斯坦福大学和华盛顿大学的研究人员仅花费不到50美元的云计算费用，便成功训练出一个名为s1的人工智能模型。该模型在数学和编程能力测试中表现出与OpenAI的o1和DeepSeek的r1等顶尖推理模型相似的水平。
s1团队通过“蒸馏”技术创建了这一模型，即通过训练模型来学习其他人工智能模型的答案，从而提取其推理能力。研究人员透露，s1是从谷歌的Gemini 2.0 Flash Thinking Experimental模型中蒸馏出来的。加州大学伯克利分校的研究人员也使用了相同的蒸馏方法，以约450美元的成本创建了一个类似的推理模型。
s1模型及其训练数据和代码已在GitHub上开源。研究人员表示，他们希望找到实现强大推理性能和“测试时扩展”的最简单方法，这些是OpenAI的o1中的一些突破。通过监督微调（SFT）方法，可以使用相对较小的数据集来蒸馏推理模型，比大规模强化学习更具成本效益。
值得注意的是，s1的训练仅用了16个Nvidia H100 GPU，耗时不到30分钟，租用计算资源的成本约为20美元。研究人员还发现，在推理过程中添加“等待”一词，有助于模型获得更准确的答案。
免责声明：本文内容由开放的智能模型自动生成，仅供参考。
扫一扫关注微信