Google Brain 的研究人員開(kāi)源了他們最新的 AI 語(yǔ)言模型 Switch Transformer，包括 1.6 萬(wàn)億個(gè)參數(shù)，相比上一代的 T5 模型，在精度相似的情況下訓(xùn)練時(shí)間只要七分之一。

但 Google 并沒(méi)有開(kāi)源預(yù)訓(xùn)練的權(quán)值，而權(quán)值對(duì)于語(yǔ)言模型是至關(guān)重要，因此這一開(kāi)源被認(rèn)為打了折扣。權(quán)值代表 AI 模型模擬的人腦神經(jīng)元之間的連接強(qiáng)度，需要反復(fù)調(diào)整到輸出結(jié)果與正確答案相同。