科技媒体smartprix昨日(2月28日)报道称,OpenAI在介绍GPT-4.5模型的视频中,意外泄露了GPT-6训练可能需要的GPU数量,暗示其规模将远超以往。在视频的2分26秒处,聊天记录中出现了“Num GPUs for GPT 6 Training”字样,虽未明确解释,但“Num”可能暗示了一个前所未有的数字,推测高达10万块GPU。
此前,OpenAI训练GPT-3时使用了约1万块GPU,而随着模型迭代,计算资源需求持续增加。内部代号为“Orion”的GPT-4.5在自然度和减少“幻觉”方面取得了重大进展,其参数量可能超过3到4万亿,训练成本约7.5亿到15亿美元。
目前,“Num”的具体含义尚不明确,可能代表“Numerous”(大量),但也可能是OpenAI的策略性烟雾弹。无论真相如何,GPT-6的训练规模无疑将引发业界广泛关注。