7月8日,OpenAI发布博文指出,行业权威编程能力评测基准SWE-Bench Pro在731个公开任务中约30%存在评测缺陷。该基准由Scale AI推出,以高真实性与防作弊标准被广泛采用。OpenAI通过数据点分析和人工标注两条路径,分别识别出200个和249个失效任务,归因于测试过严、提示不充分、范围过窄及提示误导四类问题。例如某题要求行首1空格转Markdown,隐藏测试却判2空格才正确。鉴于其失效性,OpenAI已撤回对该基准的采用建议,并呼吁由资深开发者共建新一代AI编程评测标准。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。

扫一扫关注微信