最新最快科技资讯
太阳能光伏网

手机就能跑!开源AI机器人MLC LLM发布: 无需联网

快科技5月2日消息,近日,一个名为MLC LLM的项目在GitHub上线,该项目为一个能够在手机上运行的,无需联网的开源人工智能聊天机器人。

据悉,MLC LLM项目的本质是一种通用解决方案,它允许将任何语言模型本地部署在一组不同的硬件后端和本地应用程序上。

同时,它还有着一个高效的框架,供每个人进一步优化自己用例的模型性能。

上述这一切,都在本地运行,无需服务器支持,并通过手机或笔记本电脑上的本地GPU加速。

技术上,MLC LLM使用了Vicuna-7B-V1.1,这是一种基于Meta开发的LLaMA模型的轻量级LLM,效果虽然不如GPT3.5或GPT4,但在大小方面比较占优势。

目前,该项目可用于Windows、Linux、macOS和iOS平台,但暂时还没有适用于Android的版本。

值得一提的是,MLC LLM项目的开发团队来自卡内基梅隆大学的Catalyst计划、SAMPL机器学习研究小组以及华盛顿大学、上海交通大学和OctoML等。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:乃河

最新相关

苹果携手谷歌Gemini,新Siri将于2月下旬上线

2026年2月下旬,苹果将在iOS 26.4测试版中推出基于谷歌Gemini模型的全新Siri。该功能由代号"苹果基础模型v10"(参数量1.2万亿)驱动,运行于苹果私有云,支持屏幕感知、跨应用操作等AI能力。合作源...

人工智能训练师成上海紧缺新职业

2026年1月25日,上海将人工智能训练师列入急需紧缺高技能人才目录。该职业自2020年2月正式纳入国家职业分类大典,设五级至一级共五个技能等级。培训以实操为主(占比70%),面向职场人周末开班。在...

全国铁路1月26日起实行新列车运行图

自2026年1月26日零时起,全国铁路正式启用新列车运行图。此次调图覆盖全国范围,由国铁集团统筹实施。调整后,图定旅客列车达12130列,增开243列;货物列车达23748列,增开177列。调图旨在提升客货...

康诺生物-B向港交所提交上市申请

1月25日,康诺生物制药股份有限公司-B正式向香港交易所递交上市申请,拟主板挂牌。该公司为专注于创新生物药研发的制药企业,本次IPO由国投证券国际独家保荐。申请标志着其商业化进程关键一步,旨...

爱芯元智向港交所提交上市申请

1月25日,爱芯元智半导体股份有限公司正式向香港交易所递交上市申请。该公司拟通过首次公开发行(IPO)募集资金,用于AI芯片研发及产能扩张。中金公司、国泰海通和交银国际担任联席保荐人。爱芯元...

洛阳钼业完成加拿大三大金矿收购交割

2026年1月23日,洛阳钼业通过控股子公司完成对加拿大Equinox Gold旗下Aurizona、RDM及Bahia金矿100%权益的交割。本次交易位于巴西,涉及黄金资源量501.3万盎司、储量387.3万盎司,平均品位分别为...