【太平洋科技快讯】5月7日,联想在创新科技大会(Tech World)上展示了其在端侧算力方面的最新创新成果——“联想推理加速引擎”。这款由联想、清华大学及无问芯穹联合研发的推理引擎,是专为高效AI PC推理而设计的软硬件协同优化平台,可以让一台普通PC的本地推理能力媲美OpenAI去年发布的o1-mini云端模型。
“联想推理加速引擎”采用了多项前沿技术,包括高性能并行解码、算子融合优化以及异构计算技术。这些技术的协同作用,使得该引擎在多种应用场景下能够大幅提升推理速度,同时显著降低功耗和内存占用。此外,当与大模型推理芯片相结合时,硬件加速与软件优化的无缝协作进一步放大了性能提升,形成了强大的叠加效应。
为了直观展示“联想推理加速引擎”的强大实力,大会现场设置了一场别开生面的“竞速赛”。三台配置相同的AI PC同时解答2024年高考数学压轴题。结果显示,初代大模型耗时27秒,答案得分为0分;二代大模型耗时26秒,答案满分;而搭载了“联想推理加速引擎”的二代大模型仅耗时13秒,答案同样满分。
联想集团董事长兼CEO杨元庆在大会上表示:“很快,大家就会在即将发布的下一代AI PC上体验到‘联想推理加速引擎’带来的强大本地推理能力。其性能可以与云端大模型相媲美,但成本却低得多。”这一创新技术的发布,预示着AI在个人计算领域的应用将更加广泛和高效,为用户带来更加智能和便捷的体验。