即梦AI近日上线全新“动作模仿”功能,用户可通过“数字人”入口,上传一张人物图片和一条参考视频,即可生成动态视频,让图片中的人物模拟参考视频中的动作,并实现情绪的一比一还原。该功能支持肖像、半身及全身等不同画幅,由字节跳动智能创作数字人团队提供技术支持。
团队采用显式和隐式特征混合驱动的方式,能够同步还原各种画幅下的肢体动作和人脸表情。在人脸表情控制方面,凭借自研的face motion tokenizer,精准抓取驱动视频中的表情细节,提升生成视频的生动性。目前,即梦AI提供3个动作模板,并支持用户上传本地文件,视频时长最长为30秒。该功能已在即梦App和Web端上线,平台会对视频内容进行安全审核,并为输出视频添加“AI生成”水印。