2025-05-09 20:16
【太平洋科技快讯】5月9日，OpenAI在其紧凑型推理模型o4-mini上推出了强化微调技术(Reinforcement Fine-Tuning, RFT)，为定制基础模型以适应特定任务提供了强大工具。
OpenAI的强化微调技术(RFT)将强化学习原理融入语言模型的微调过程。这一方式打破了传统微调模式，开发者不再仅仅依赖于标注数据，而是可以通过设计任务特定的评分函数(grader)来评估模型输出。这些评分函数根据自定义标准(例如准确性、格式或语气)为模型表现打分，模型则通过优化奖励信号逐步学习，生成符合期望的行为。这种方法在处理难以定义标准答案的复杂任务时尤为有效，例如在医疗领域，开发者可以通过程序评估解释的清晰度与完整性，指导模型改进。
o4-mini是OpenAI于2025年4月发布的一款紧凑型推理模型，支持文本和图像输入，擅长结构化推理和链式思维提示(chain-of-thought prompts)。通过在o4-mini上应用RFT，OpenAI为开发者提供了一个轻量但强大的基础模型，适合高风险、领域特定的推理任务，其计算效率高，响应速度快，非常适合实时应用场景。
使用RFT技术需要完成四个步骤：设计评分函数、准备高质量数据集、通过OpenAI API启动训练任务、持续评估和优化模型表现。多家早期采用者已展示RFT在o4-mini上的潜力，凸显了RFT在法律、医疗、代码生成等领域的定制化优势。
据悉，RFT目前向认证组织开放，训练费用为每小时100美元。若使用GPT-4o等模型作为评分工具，则额外按标准推理费率计费。为了鼓励数据共享，OpenAI还推出激励措施，同意共享数据集用于研究的组织可享受50%的训练费用折扣。
扫一扫关注微信
