最新最快科技资讯
太阳能光伏网

腾讯联手新加坡国立大学发布音乐理解生成框架M2UGen

据HuggingFace页面显示,来自新加坡国立大学的研究者近日联手腾讯PCG ARC Lab ,发布了一款音乐理解生成框架M2UGen。

论文显示,该框架集成了大语言模型理解和生成不同模态音乐的能力,旨在通过使用预训练的MERT、ViT和ViViT模型,分别从音乐、图像和视频等不同灵感来源挖掘创作潜力。

此外,研究者还探索了AudioLDM 2和MusicGen的使用,并通过整合LLaMA 2模型实现了多模式理解与音乐生成之间的衔接。

最新相关

美股开盘: 英特尔涨逾6%

三大指数涨跌不一,道指涨0.09%,标普500指数跌0.04%,纳指跌0.12%。英特尔涨逾6%,软银斥资20亿美元入股英特尔;小鹏汽车涨逾3%。

将推豆包手机?字节回应

今日晚点LatePost报道称,字节跳动正在研发 AI 手机,目前名称是 "豆包手机",由中兴作为 ODM 厂商来代工,这款手机即将在今年年底或者明年年初推出,早期主要用于字节内部团队的测试,暂时没有对外...