近日，第三十四届国际计算机视觉顶级会议CVPR 2021 (Conference on Computer Vision and Pattern Recognition)举办的多角度图片3D人脸重建竞赛公布了最终成绩，网易互娱AI Lab提出的多视角重建方案在所有评价指标上均排名第一，击败了来自OPPO研究院，虎牙AI Lab，清华大学，北京大学，中科院自动化所等企业和高校的246个计算机视觉团队，一举斩获大赛冠军。
近日，计算机视觉顶级会议CVPR 2021举办的PIC Challenge AI挑战赛成绩出炉。网易互娱AI Lab从众多参赛队伍中脱颖而出，获得了多视角图片3D人脸重建竞赛的冠军。这也是网易互娱AI Lab继IJCAI 2020 3D AI挑战赛获得3D物体重建和3D物体检索双料冠军后又一次摘得三维视觉领域的国际比赛冠军，体现了网易在3D视觉领域深厚的技术积累和领先的技术实力。
CVPR是国际计算机视觉的三大顶级学术会议之一，每年都会吸引来自全球的一流学者、研究人员和开发者参加，共同探讨计算机视觉领域的前沿问题。3D人脸重建则是3D计算机视觉研究的重要领域，在人脸识别，AR//VR等领域有着广泛的应用。本次CVPR 2021多角度图片3D人脸重建竞赛的主要目标是通过多张不同角度获得的人脸图像，重建出人脸的106个关键点。
本次比赛以人脸关键点的NME，AUC (@0.08)，Failure rate (@0.08)作为评测指标。训练数据集包含5204个人脸模型，共15612张多视角人脸图像，其中不同的人脸模型涵盖了多达25种不同的表情，多表情数据极大提高了三维人脸重建的难度，给予参赛选手巨大的挑战。
针对本次比赛的难点，网易互娱AI Lab提出了基于孪生网络的端到端模型架构。采用多视角图像的进行三维重建增强，并设计了自适应权重的NME损失函数以适应多种不同表情的三维人脸关键点回归，同时利用空间对称增广的三维数据增强手段进行数据扩增，另外还通过设置三维平均关键点脸模作为先验信息以进行高精度的多表情三维人脸关键点拟合，最终在竞赛的三个评测指标都取得了领先。
目前，3D视觉在人工智能的领域里多用于3D重建（如人脸，人体等的重建）、场景理解构建等任务中。网易互娱AI Lab近年来在3D视觉领域持续发力，不断在游戏制作中探索落地3D视觉技术，已将人脸表情捕捉、视频人体动捕、人脸融合、人脸风格化重建等技术应用在各个游戏中，降低了资源的制作成本，丰富了产品游戏体验。
网易互娱AI Lab成立于2017年，隶属于网易互动娱乐事业群，在广州、杭州、上海均有分部，是游戏行业领先的人工智能实验室。实验室致力于计算机视觉、语音和自然语言处理，以及强化学习等技术在游戏场景下的的研究，应用和落地，旨在通过AI技术助力互娱旗下热门游戏及产品的技术升级，目前技术已应用于网易互娱旗下多款热门游戏，如《梦幻西游》、《一梦江湖》、《天下3》、《阴阳师》、《第五人格》、《哈利波特—魔法觉醒》等等。
扫一扫关注微信