GoogleDeepMind推出了NaViT: 一种新的ViT模型,它在训练过程中使用序列打包来处理任意分辨率和宽高比的输入。该模型将图像分割成小块,并线性投影到令牌上,形成了这个模型的基础。NaViT在广泛的解决方案范围内都表现出色,为推理时间提供了平滑的性能-成本平衡,并且易于适应新任务无需花费大量资金。

据微软官方消息,微软研究人员日前推出了名为 ZeRO++ 的新技术,可显著减少大模型训练时间和成本。ZeRO++ 建立在 ZeRO 传输技术基础上,提供增强的通信策略,可提高训练效率,同时减少训练时间和成本。ZeRO++ 可对权重进行量化,其利用基于块的量化方法来保持训练精度,这种优化的量化过程相对原始 Zero 传...

微软研究人员推出了名为ZeRO的新系统,用于优化训练大型AI模型,以应对高数据传输开销和有限带宽的难题。ZeRO建立在现有的ZeRO优化的基础上,并提供增强的通信策略,以提高训练效率,减少训练时间和成本。研究人员和实践者可以利用ZeRO更有效地训练像ChatGPT这样的模型,并在AI领域探索新的可能性。