科技媒体9to5Mac报道,苹果机器学习团队与南京大学、香港科技大学合作,开发了一款名为Matrix3D的3D AI模型。该模型能够通过少量2D照片重建真实世界的物体和场景,大幅简化了传统摄影测量技术的复杂流程。
传统方法依赖多个独立模型处理姿态估计和深度预测,容易导致效率低下和错误累积。Matrix3D的创新之处在于整合了图像、相机参数和深度数据,通过统一架构一次性完成处理,显著提升了重建的流畅性和可靠性。研究团队采用掩码学习策略,借鉴了早期Transformer模型的训练理念,使模型即使在数据不完整的情况下也能有效学习关键特征。
测试显示,仅需三张输入图像,Matrix3D即可生成细致的3D重建效果,涵盖物体及环境。这一技术有望应用于Apple Vision Pro等设备,推动元宇宙和增强现实的发展。