作者 | Bright Liao

作為一個(gè)一直對(duì)AI 技術(shù)很感興趣的軟件開(kāi)發(fā)工程師，早在深度學(xué)習(xí)開(kāi)始火起來(lái)的2015、2016年，我就開(kāi)始了相關(guān)技術(shù)的學(xué)習(xí)。當(dāng)時(shí)還組織了公司內(nèi)部同樣有興趣的同學(xué)一起研究，最終的成果匯集成幾次社區(qū)中的分享以及幾篇學(xué)習(xí)文章（見(jiàn)這里：https://brightliao.com/tags/ai/）。

從去年OpenAI 發(fā)布ChatGPT 以來(lái)，AI的能力再次驚艷了世人。在這樣的一個(gè)時(shí)間節(jié)點(diǎn)，重新去學(xué)習(xí)相關(guān)技術(shù)顯得很有必要。

什么是ChatGPT

網(wǎng)絡(luò)上已經(jīng)有鋪天蓋地的內(nèi)容介紹ChatGPT 是什么了?？偨Y(jié)起來(lái)，有以下幾個(gè)關(guān)于ChatGPT 的認(rèn)知：

• ChatGPT 是由OpenAI 開(kāi)發(fā)的一個(gè)用于對(duì)話生成的AI 模型。
• GPT 是"Generative Pre-trained Transformer" 的縮寫(xiě)，表示它是一個(gè)經(jīng)過(guò)預(yù)訓(xùn)練的生成式Transformer 模型。
• ChatGPT 學(xué)習(xí)了大規(guī)模的文本內(nèi)容，如互聯(lián)網(wǎng)上的網(wǎng)頁(yè)、書(shū)籍和對(duì)話等，能夠準(zhǔn)確理解輸入的自然語(yǔ)言，并生成自然而連貫的回復(fù)。
• ChatGPT 可用于構(gòu)建智能聊天機(jī)器人、虛擬助手、虛擬客服等應(yīng)用，可以幫助我們寫(xiě)文章、寫(xiě)劇本、做設(shè)計(jì)，甚至還能輔助編寫(xiě)和調(diào)試程序。
• ChatGPT 的計(jì)算過(guò)程非常復(fù)雜，包含了超過(guò)千億的參數(shù)，需要用大量的顯卡并行計(jì)算。

那么，對(duì)于開(kāi)發(fā)人員而言，ChatGPT 有哪些不一樣的特征呢？如何與我們所熟悉的東西對(duì)比進(jìn)行理解呢？下面主要從這個(gè)角度來(lái)分享一下我的觀點(diǎn)。

確定性與非確定性

從普通開(kāi)發(fā)人員的視角來(lái)看，ChatGPT 與普通的程序會(huì)有什么不同呢？我覺(jué)得最大的不同在于確定性與非確定性。

我們編寫(xiě)的大部分可運(yùn)行的軟件程序以一種確定性的方式在工作。比如，這篇文章以Markdown 格式編寫(xiě)，有一個(gè)程序，可以以一種確定的方式解析Markdown 格式，并以一種確定的方式展示它。

ChatGPT 模型就很不一樣，它更多是以一種概率性的非確定的方式在工作。我們都知道自然語(yǔ)言本身就是充滿不確定性的。比如，同樣一句話“他這個(gè)人誰(shuí)都看不上”，可能表示“他”很挑剔，看不上別人；也可能表示“他”能力比較差，大家都看不起他。到底表示什么意義？這就要根據(jù)不同的上下文、情境來(lái)確定。

ChatGPT 模型可以較為準(zhǔn)確地理解自然語(yǔ)言的含義，這說(shuō)明它可以綜合分析輸入給它的文本，然后選擇一個(gè)概率最高的理解。

同時(shí)，ChatGPT 模型可以生成不同的回復(fù)，這也是由概率控制的。ChatGPT 模型在工作時(shí)會(huì)根據(jù)給定的文本生成下一個(gè)詞。如何選定下一個(gè)詞？程序會(huì)根據(jù)配置隨機(jī)選擇一個(gè)較高概率的詞，由于這里的隨機(jī)性，就產(chǎn)生了AI 回復(fù)的多樣性。如果我們?cè)谏上乱粋€(gè)詞時(shí)始終選擇概率最高的那個(gè)詞，那ChatGPT 模型就會(huì)變成一個(gè)確定性的程序。

自動(dòng)優(yōu)化得來(lái)的一個(gè)復(fù)雜函數(shù)

從開(kāi)發(fā)人員的視角來(lái)看，ChatGPT 其實(shí)也可以看做一個(gè)普通的函數(shù)，根據(jù)輸入的文本，輸出另一些文本。只不過(guò)，這個(gè)函數(shù)能實(shí)現(xiàn)的功能比較強(qiáng)大，并且是基于概率去實(shí)現(xiàn)的而已。

在這個(gè)函數(shù)的實(shí)現(xiàn)上，它與其他的主要通過(guò)開(kāi)發(fā)人員編寫(xiě)代碼去實(shí)現(xiàn)的方式也不一樣。ChatGPT 模型與其他的AI 模型一樣，它是通過(guò)訓(xùn)練來(lái)實(shí)現(xiàn)的。

簡(jiǎn)單來(lái)說(shuō)，它的實(shí)現(xiàn)流程是這樣。為了實(shí)現(xiàn)這個(gè)函數(shù)，我們隨機(jī)初始化了一堆參數(shù)，然后準(zhǔn)備好大量的我們認(rèn)為這個(gè)函數(shù)應(yīng)該具有的輸入輸出對(duì)（即訓(xùn)練數(shù)據(jù)集），用這些數(shù)據(jù)去訓(xùn)練它。訓(xùn)練的過(guò)程其實(shí)就是調(diào)整我們之前隨機(jī)初始化的參數(shù)的過(guò)程。當(dāng)這些參數(shù)經(jīng)過(guò)長(zhǎng)時(shí)間的大量的調(diào)整之后，我們發(fā)現(xiàn)這個(gè)函數(shù)大概率能針對(duì)我們提供的輸入返回我們預(yù)期的輸出了。此時(shí)，實(shí)際上這個(gè)函數(shù)就被以一種概率的方式實(shí)現(xiàn)了。

調(diào)整參數(shù)的過(guò)程，也可以類比高中數(shù)學(xué)中的方程組求解過(guò)程。比如，給一個(gè)包含兩個(gè)未知數(shù)的方程ax + by = c，只要我們知道兩組a b c的值，我們就可以求解出x和y。這里的訓(xùn)練就相當(dāng)于找到了大量的這樣的a b c值對(duì)，然后用這些值去求解x和y。不過(guò)，這里的求解過(guò)程實(shí)際上用到了一些基于向量的微積分的技術(shù)。

難以理解的黑盒

有了前面的理解，相信大家也不會(huì)覺(jué)得ChatGPT 是什么神秘的技術(shù)了。它只是與我們平常的函數(shù)的實(shí)現(xiàn)機(jī)制稍微有些區(qū)別而已。

或許我們會(huì)覺(jué)得用這種參數(shù)優(yōu)化的方式去實(shí)現(xiàn)復(fù)雜函數(shù)的機(jī)制很有趣，也很有啟發(fā)意義。但其實(shí)這種實(shí)現(xiàn)方式也有其問(wèn)題。

最大的問(wèn)題或許在于，我們難以理解這個(gè)函數(shù)為什么可以工作。

這一方面是因?yàn)楹瘮?shù)包含了大規(guī)模的參數(shù)，特別是ChatGPT 這種大模型，比如ChatGPT3.5版本，就包含了1750億個(gè)參數(shù)。這么多的參數(shù)顯然無(wú)法依靠人為的去分析每一個(gè)參數(shù)的作用。

另一方面，我們也不知道這些參數(shù)是如何計(jì)算來(lái)的。因?yàn)閰?shù)的調(diào)整過(guò)程同樣是經(jīng)過(guò)了超長(zhǎng)的時(shí)間，有超大規(guī)模的輸入輸出對(duì)給到它。我們只能從數(shù)學(xué)原理上說(shuō)明，這些參數(shù)可以最終收斂到某一個(gè)靠近最優(yōu)值的點(diǎn)。但是我們無(wú)法去分析每一次的優(yōu)化具體產(chǎn)生了什么影響。

可以說(shuō)，這樣的AI 模型，或者說(shuō)智能函數(shù)，本身就是一個(gè)難以理解的黑盒。

既然難以理解，我們?cè)谑褂蒙暇托枰⌒?，因?yàn)樗芸赡芤恢北憩F(xiàn)很好，但是某一個(gè)場(chǎng)景下就出現(xiàn)無(wú)法預(yù)料的很差的效果。這也是目前的人工智能技術(shù)讓人覺(jué)得很炫酷，但在真正落地應(yīng)用時(shí)，總是有這樣那樣的問(wèn)題的一個(gè)重要原因。

實(shí)際上，如果我們問(wèn)ChatGPT，ChatGPT 模型在應(yīng)用上有哪些挑戰(zhàn)，它就會(huì)回復(fù)：

ChatGPT 具有令人振奮的潛力，但也面臨著一些挑戰(zhàn)和限制。例如，它可能會(huì)生成不準(zhǔn)確或不符合預(yù)期的回復(fù)，以及對(duì)偏見(jiàn)和敏感話題的處理問(wèn)題。

總結(jié)

有了上面的理解，大家再來(lái)看ChatGPT，我相信大家也不會(huì)覺(jué)得它很神秘了。

自ChatGPT 發(fā)布以來(lái)，很多人認(rèn)為這是一個(gè)人類走向通用人工智能的突破，也有一些人認(rèn)為它其實(shí)沒(méi)什么本質(zhì)的改進(jìn)。有很多人對(duì)自己的職業(yè)發(fā)展產(chǎn)生了很深的焦慮感，也有很多人感覺(jué)觸碰到了科幻世界中的未來(lái)，還有很多人覺(jué)得又是一個(gè)可以好好撈一把的機(jī)會(huì)。

也許每個(gè)人都有必要去了解一下機(jī)器學(xué)習(xí)技術(shù)的原理，這樣才能形成對(duì)它的理性的認(rèn)知。