2023-04-05 13:55
聚财联社报道，当地时间周二（4月4日），谷歌公布了其用于训练人工智能（AI）模型的超级计算机的最新细节。该公司称，这些系统比英伟达公司的同期系统更快、更节能。
谷歌
据了解，谷歌张量处理器（tensor processing unit，简称TPU芯片）是该公司为机器学习定制的专用芯片（ASIC），第一代发布于2016年，为当时大热的AlphaGo提供算力。与GPU相比，TPU采用低精度计算，在几乎不影响深度学习处理效果的前提下大幅降低了功耗、加快运算速度。同时，TPU使用了脉动阵列等设计来优化矩阵乘法与卷积运算。
谷歌第四代TPU芯片
谷歌表示，目前公司90%以上的AI训练工作都是通过谷歌自主研制的TPU芯片完成的。其AI训练的过程是：通过给模型输入数据，使其能够用类似人类的文本回应、并具备生成图像等功能。当前谷歌使用的是最新的第四代TPU芯片，谷歌公司周二发布的一篇论文详细阐述了该公司是如何利用自己定制的光开关，将4000多个芯片组合到一台超级计算机中，从而帮助连接一台台独立机器。谷歌表示，其已经部署了数十台采用第四代TPU打造的超级计算机，供内部使用和外部通过谷歌云使用。
相关论文
谷歌在论文中表示，对于同等大小的系统，其芯片比基于英伟达A100芯片的系统快1.7倍，能效高1.9倍。英伟达A100芯片与第四代TPU同时上市，并被用于GPT-4的训练。不过英伟达目前的旗舰是H100芯片，谷歌并为与之进行对比，因为H100在谷歌芯片之后上市，并且采用了更先进的制程。
扫一扫关注微信
