最新最快科技资讯
太阳能光伏网

全球首个70B长文本大语言模型发布 由港中文联合MIT出品

10月9日消息,全球首个拥有70B参数量的长文本对话大语言模型LongAlpaca于10月9日正式对外发布,同时发布的还有超长文本扩展技术LongLoRA。

新模型及新技术由香港中文大学计算机科学工程系终身教授贾佳亚团队联合麻省理工学院(MIT)发布,解决了目前大模型对长文本处理的盲区,允许模型考虑和处理较长的文本序列。

目前,相关技术与模型已全部开源。据悉,LongLoRA在只需两行代码、一台8卡A100机器的情况下,便可将7B模型的文本长度拓展到100k tokens,70B模型的文本长度拓展到32k tokens,远超Llama2支持的4k tokens的文本长度;并且在显存消耗、时间消耗和准确性上,LongLoRA都较常规LoRA和全参数微调有显著优异表现,令LongLoRA大规模推广成为可能。

最新相关

OPPO Find N6折叠屏手机或于明年Q1发布

据数码博主@数码闲聊站爆料,OPPO Find N6折叠屏手机预计将于明年第一季度亮相。目前关于该机的详细信息尚未公布,但参考前代产品OPPO Find N5的表现,新机有望延续轻薄设计与高端配置。OPPO Fin...

新一代速腾L实车曝光 设计升级三季度上市

网络上曝光了一组全新一代一汽-大众速腾L的实车图片,新车作为现款速腾的换代产品,在外观、内饰及动力系统上均有显著升级。从实拍图来看,全新速腾L采用大众最新家族式设计,窄条幅前格栅搭配贯...