最新最快科技资讯
太阳能光伏网

阿里通义实验室开源音频生成模型ThinkSound 实现AI"听懂画面"

阿里通义实验室今日宣布开源首个音频生成模型ThinkSound,该模型创新性地将思维链(CoT)技术应用于音频生成领域,使AI能够逐步分析画面事件与声音的关系,实现高保真、强同步的空间音频生成。

ThinkSound由多模态大语言模型和统一音频生成模型两部分组成,通过理解整体画面、聚焦具体物体、响应用户指令三个阶段生成精准对位的音频效果。为支持模型训练,研究团队构建了多模态音频数据集AudioCoT,包含2531.8小时高质量样本,涵盖动物鸣叫、机械运转等多种真实场景,并设计了精细化的数据筛选流程。

该模型解决了传统视频到音频生成技术难以捕捉动态细节和空间关系的问题,使AI能够像人类音效师一样结构化地分析和合成声音。

最新相关