?作者 | 徐杰承

審校 | 云昭?

?100萬億，這個數(shù)字究竟有多大？假如你擁有每天都能中500萬彩票的超能力，那么在不吃不喝存下所有錢的情況下，你還需要擁有約5500年的壽命，才能夠攢下100萬億的財產(chǎn)。然而，今天想要和大家聊的這100萬億，背后并不是“RMB”、“Dollor”這些令人垂涎的單位。這里的100萬億，指的是由眾多硅谷科技大亨共同創(chuàng)立的人工智能研究公司OpenAI即將發(fā)布的第四代生成式預訓練Transformer——GPT-4所擁有的參數(shù)量。

為了方便大家更加直觀的理解這個數(shù)據(jù)，我們可以用人腦與GPT-4進行對比。一般情況下，一個正常人類的大腦約有800—1000億個神經(jīng)元，以及約100萬億個突觸。而這些神經(jīng)元與突觸，幾乎直接控制著一個人百年人生中的所有思想、判斷及行為，而GPT-4擁有與人腦突觸一樣多的參數(shù)。那么，如此龐大規(guī)模的密集神經(jīng)網(wǎng)絡究竟具備著怎樣的潛力；GPT-4的出現(xiàn)將會給我們的帶來哪些驚喜；我們又是否已經(jīng)真的具備制造人腦的能力了呢？

在探索這些令人興奮的問題之前，我們不妨先來了解一下GPT-4幾位“前輩”的發(fā)展歷史。

1、GPT：不鳴則已，一鳴驚人

首個GPT系列模型GPT-1誕生于2018年，也就是我們常說的NLP預訓練模型元年。GPT-1作為第一個基于Transformer的預訓練模型，采取了預訓練+FineTuning兩個階段，以Transformer的decoder作為特征抽取器，共堆疊12層，擁有1.1億參數(shù)，預訓練階段則采用“單向語言模型”作為訓練任務。

性能方面，GPT-1有著一定的泛化能力，能夠用于和監(jiān)督任務無關的NLP任務中。其常用任務包括：

• 自然語言推理：判斷兩個句子的關系（包含、矛盾、中立）
• 問答與常識推理：輸入文章及若干答案，輸出答案的準確率
• 語義相似度識別：判斷兩個句子語義是否相關
• 分類：判斷輸入文本是指定的哪個類別

雖然GPT-1在未經(jīng)調(diào)試的任務上有一些效果，但其泛化能力遠低于經(jīng)過微調(diào)的有監(jiān)督任務，因此GPT-1只能算得上一個還算不錯的語言理解工具而非對話式AI。

在GPT-1問世一年之后，GPT-2也于2019年如期而至。相比于老大哥GPT-1，GPT-2并沒有對原有的網(wǎng)絡進行過多的結構創(chuàng)新與設計，只使用了更多的網(wǎng)絡參數(shù)與更大的數(shù)據(jù)集：最大模型共計48層，參數(shù)量達15億，學習目標則使用無監(jiān)督預訓練模型做有監(jiān)督任務。

圖源：推特

在性能方面，OpenAI的大力似乎真的帶來了一些奇跡。除了理解能力外，GPT-2在生成方面第一次表現(xiàn)出了強大的天賦：閱讀摘要、聊天、續(xù)寫、編故事，甚至生成假新聞、釣魚郵件或在網(wǎng)上扮演他人通通不在話下。在“變得更大”之后，GPT-2的確展現(xiàn)出了一些列普適而強大的能力，并在多個特定的語言建模任務上實現(xiàn)了彼時的最佳性能。也難怪當時OpenAI曾表示“GPT-2 was too dangerous to release”。

自GPT-2取得成功以來，OpenAI對“大力神教”的信仰愈發(fā)堅定，2020年放出的GPT-3繼續(xù)沿用微創(chuàng)新、猛擴大的發(fā)展思路。除了GPT-3中的Transformer應用了Sparse結構外，GPT-3與GPT-2的結構幾乎沒有區(qū)別。而在“大力”方面，GPT-3的模型上到了96層，訓練參數(shù)則是達到了1750億個（GPT-2的10倍以上）。

而GPT-3也再次證明了OpenAI的眼光，由于GPT-3更強的性能和明顯更多的參數(shù)，它包含了更多的主題文本，顯然優(yōu)于前代的GPT-2。作為目前最大的密集型神經(jīng)網(wǎng)絡，GPT-3能夠?qū)⒕W(wǎng)頁描述轉(zhuǎn)換為相應代碼、模仿人類敘事、創(chuàng)作定制詩歌、生成游戲劇本，甚至模仿已故的各位哲學家——預測生命的真諦。且GPT-3不需要微調(diào)，在處理語法難題方面，它只需要一些輸出類型的樣本（少量學習）。可以說GPT-3似乎已經(jīng)滿足了我們對于語言專家的一切想象。

2、全面通過圖靈測試學習和商用門檻降低

說到這里，相信大家一定會有一個相同的疑問——GPT-3已經(jīng)非常強大了，那么GPT-4還有哪些值得我們期待的地方呢？

眾所周知，測試一個AI系統(tǒng)智能性的最核心方式便是圖靈測試，在我們還無法用科學的可量化標準對人類智慧這一概念進行定義時，圖靈測試是目前為數(shù)不多的、可行的、能夠確定對方是否具備人類智慧的測試方法。用一句諺語來說：如果一個東西長的像鴨子，走路像鴨子，叫起來像鴨子，那它就是鴨子。因此，如果AI系統(tǒng)能夠順利通過圖靈測試，那么就意味著這個系統(tǒng)已具備人類思維并有可能在某些方面替代人類。而根據(jù)韓國IT媒體報道，自11月中開始，業(yè)界已經(jīng)傳出了GPT-4全面通過了圖靈測試的說法。韓國Vodier AI公司高層南世東在日前接受韓國《經(jīng)濟新聞》采訪時表示：“雖然GPT-4通過圖靈測試的消息尚未正式確認，但這個消息應該相當可信?！?/p>

技術人出身，現(xiàn)任OpenAI CEO的Sam Altman似乎也在其Twitter中證實了這個信息。Altman在11月10日模仿電影《星球大戰(zhàn)》中角色達斯維德的經(jīng)典臺詞，發(fā)出了一條推文：“不要為你制造的這種技術恐慌感到驕傲。通過圖靈測試的能力在‘原力’面前也無能為力”。

圖源：推特

一位AI初創(chuàng)公司的高管分析稱“如果GPT-4真的完美通過了圖靈測試，那么它的影響足以在AI界引發(fā)‘技術恐慌’，因此Altman才會借由達斯維德的角色來公布這個信息”。

如果GPT-4在沒有任何限制的情況下通過圖靈測試，這的確將會創(chuàng)造歷史。雖然此前一些AI模型也曾聲稱通過圖靈測試，但都未曾得到過AI業(yè)界的一致認可。這是由于圖靈測試的標準和規(guī)則并不明確，因此許多模型都在測試中巧妙地利用了一些“盲點”。英國雷丁大學在2014年推出的AI模型“尤金”就是一個典型的例子，當時雷丁大學對評委聲稱，該模型是一位13歲的烏克蘭男孩，因此當算法無法給出很好的答案時，評委會認為這是由于被測試者是外國兒童的緣故。

圖源：網(wǎng)絡

雖然圖靈測試并不是AI技術的絕對參考點，但作為迄今為止最久遠、最廣為人知的AI技術測試，圖靈測試仍然有著很大的象征意義。如果GPT-4真的正式且肯定的通過了圖靈測試，那么它將極有可能創(chuàng)造迄今為止AI界最大的一座里程碑。

除此之外，與GPT-3不同的是，GPT-4將很有可能不僅只是一個語言模型。OpenAI首席科學家Ilya Sutskever曾在其撰寫的多模態(tài)相關文章中暗示過這一點——“文字本身即可表達關于這個世界的大量信息，但畢竟是不完整的，因為我們也生活在視覺世界之中?！币虼耍瑯I(yè)界部分專家認為GPT-4將會是多模態(tài)的，可以接受音頻、文本、圖像甚至是視頻輸入，并預測OpenAI的Whisper的音頻數(shù)據(jù)集將用于創(chuàng)建GPT-4所需的文本數(shù)據(jù)。這也意味著GPT-4對于外界信息的接收與處理將不會再有任何局限性。

而工業(yè)界關注GPT-4的原因，則很有可能是由于GPT-4的實際商用門檻將比傳統(tǒng)GPT-3更低。此前由于巨額費用和基礎設施原因而未能使用相關技術的企業(yè)也將有望使用GPT-4。目前GPT-4已進入上市的最后階段，將于今年12月至明年2月期間發(fā)布。劍橋AI研究公司分析師Alberto Garcia通發(fā)表了博客并預測：“GPT-4將更專注于優(yōu)化數(shù)據(jù)處理，因此GPT-4的學習成本預計將低于GPT-3。GPT-4的每集學習成本將可能由GPT-3的數(shù)百萬美元將至100萬美元左右”。

3、殊途同歸：模擬人腦或來得更快

如果以上信息全部屬實，那么此刻我們可以預見，隨著GPT-4的發(fā)布，明年深度學習研究領域?qū)⒂瓉硪惠喰碌臒岢?；各個行業(yè)中將可能出現(xiàn)大量更加高級、更加自然且?guī)缀鯚o法辨別其身份真?zhèn)蔚牧奶旆諜C器人；在此基礎上，也將會有更多高質(zhì)量的個性化AI服務從不同的傳統(tǒng)業(yè)務中誕生；我們也將極有可能第一次實現(xiàn)與認知智能的無障礙交流。

再說回開篇提到的制造人腦或者說模擬人腦的問題。據(jù)MIT的一項研究顯示，雖然GPT-3中的神經(jīng)網(wǎng)絡并沒有試圖直接模仿人類大腦，但GPT-3所呈現(xiàn)出的語言處理方式與人類大腦進化過程所得到的解決方案存在一定的相似性，當向模型輸入與測試人腦相同的刺激時，模型獲得了與人腦同類型的激活，且在40余種語言模型測試中，GPT-3幾乎做出了完美的推斷，這些模型的基本功能的確類似于人類大腦語言處理中心的功能。對此，斯坦福大學心理學和計算機科學助理教授Daniel Yamins也表示：“人工智能網(wǎng)絡并沒有直接模仿大腦，但最終看起來卻像大腦一樣，這在某種意義上表明，人工智能和自然之間似乎發(fā)生了某種趨同演化”。

圖源：網(wǎng)絡

由此可見，雖然GPT系列模型并沒有直接采用藍腦計劃項目中的模擬大腦結構的設計思路，但其呈現(xiàn)出的效果似乎比藍腦計劃項目更加接近我們的期望。因此，如果這一研究方向真的切實可行，且GPT-4能夠在GPT-3的基礎上實現(xiàn)某些方面的跨越性突破，那么我們距離模擬人腦的部分功能的目標將更進一大步。

最后，我想引用OpenAI CEO Sam Altman近期在Twitter上發(fā)表的一段文字作為結尾，而這段話也得到了“硅谷鋼鐵俠”Elon Musk的認可——“通用人工智能的建立會比大多數(shù)人想象的更快，并且它會通過很長的時間來‘改變’大多數(shù)人想象中的一切”。

圖源：推特

參考鏈接：

https://dzone.com/articles/what-can-you-do-with-the-openai-gpt-3-language-mod

https://analyticsindiamag.com/gpt-4-is-almost-here-and-it-looks-better-than-anything-else/

https://analyticsindiamag.com/openais-whisper-might-hold-the-key-to-gpt4/