【太平洋科技快讯】近日,阿里巴巴在GitHub开源了ZeroSearch大模型搜索引擎。该引擎基于强化学习框架,使大模型无需依赖真实搜索引擎即可具备搜索能力。
据悉,ZeroSearch利用了大型语言模型在预训练过程中积累的海量知识,将其转化为强大的检索模块。与传统的搜索引擎不同,ZeroSearch无需与真实的搜索引擎进行交互,而是通过一种独特的强化学习框架,直接利用大模型自身的能力进行信息检索。这一设计使得ZeroSearch能够独立于现有搜索引擎生态系统运行,为信息检索领域带来了全新的可能性。
除了无需真实搜索交互外,ZeroSearch还具备动态控制生成内容质量的能力。这意味着它可以根据用户的查询需求,实时调整搜索结果的准确性和相关性,提供更加精准和个性化的搜索体验。这种动态控制能力是传统搜索引擎所不具备的,也是ZeroSearch的一大技术亮点。
为了验证ZeroSearch的性能,研究人员在NQ、TriviaQA、PopQA、HotpotQA等7大问答数据集上进行了综合评测。结果显示,一个70亿参数的监督微调模型在使用ZeroSearch后,其搜索能力评分达到了33.06;而140亿参数的模型更是达到了33.97,成功超越了谷歌搜索的32.47。
研究人员通过SerpAPI使用谷歌搜索进行约64,000次搜索查询的训练,成本约为586.70美元(约合人民币:4238元)。相比之下,在四个A100 GPU上使用140亿参数的大模型进行模拟时,成本仅为70.80美元(约合人民币:511元),成本降低了87.93%以上。这表明ZeroSearch不仅在性能上超越了谷歌搜索,还在成本控制方面展现了巨大的优势。

扫一扫关注微信