作者 | Ben Dickson

譯者 | 李睿

審校 | 重樓

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

小模型、開源模型正在猛攻GPT-4，OpenAI需要更完善的措施來(lái)構(gòu)建技術(shù)方面的護(hù)城河，以保護(hù)其LLM業(yè)務(wù)。

2023年5月，谷歌公司泄露的一份內(nèi)部文件揭示了ChatGPT和GPT-4等大型語(yǔ)言模型(LLM)面臨的挑戰(zhàn)。這份文件的主要觀點(diǎn)是，谷歌公司和OpenAI沒有為他們的私有大型語(yǔ)言模型(LLM)構(gòu)建技術(shù)方面的“護(hù)城河”。開源模式最終將主導(dǎo)LLM市場(chǎng)。

這份文件中寫道：“雖然我們開發(fā)的LLM在質(zhì)量方面仍有一定的優(yōu)勢(shì)，但這種優(yōu)勢(shì)正在驚人地迅速縮小。開源模型處理速度更快、更可定制、更私密，而且功能更強(qiáng)大?！?/p>

而在不到一年的時(shí)間里，這份文件中提出的大多數(shù)警告都被證明是正確的。開源模型在質(zhì)量上正在迅速趕上，它們更加靈活，訓(xùn)練和微調(diào)的速度也更快。

然而，隨著生成式人工智能領(lǐng)域的發(fā)展，OpenAI正在采取更加完善的措施來(lái)構(gòu)建技術(shù)方面的護(hù)城河，以保護(hù)其LLM業(yè)務(wù)。但這一策略并不一定奏效。

1、OpenAI的護(hù)城河是如何被攻破的

當(dāng)OpenAI發(fā)布ChatGPT時(shí)，大多數(shù)觀點(diǎn)認(rèn)為L(zhǎng)LM將會(huì)隨著應(yīng)用量的增長(zhǎng)而改進(jìn)。GPT-3擁有1750億個(gè)參數(shù)，需要采用數(shù)百GB的GPU內(nèi)存和巨額投資來(lái)訓(xùn)練和運(yùn)行。在2022年發(fā)布的一些開源LLM是如此龐大和笨拙，以至于很少有企業(yè)可以運(yùn)行它們。

初始，訓(xùn)練和管理LLM的高昂成本就是一條護(hù)城河，只有資金充足的企業(yè)有實(shí)力擁有和開發(fā)。OpenAI利用其先發(fā)優(yōu)勢(shì)確立了自己的領(lǐng)先地位。該公司推出的GPT-3以及后來(lái)的ChatGPT和GPT-4實(shí)際上已經(jīng)成為構(gòu)建LLM應(yīng)用程序的首選模型。

在其他大型科技公司競(jìng)相追趕和投入資金之際，規(guī)模較小的企業(yè)只能希望通過(guò)API購(gòu)買這些LLM的使用權(quán)。

然而，DeepMind研究人員在2022年進(jìn)行的一項(xiàng)研究表明，開發(fā)人員并不需要運(yùn)行規(guī)模巨大的LLM就能獲得最先進(jìn)的結(jié)果。這項(xiàng)對(duì)名為Chinchilla模型的研究表明，在非常大的數(shù)據(jù)集上訓(xùn)練的小模型可以與大模型的性能相匹配。研究人員表示，Chinchilla模型的參數(shù)為700億個(gè)，其性能優(yōu)于當(dāng)時(shí)其他最先進(jìn)的LLM。

雖然DeepMind沒有將Chinchilla開源，但其訓(xùn)練方法引領(lǐng)了一個(gè)新的研究方向。Meta在2023年2月發(fā)布了Llama，這是一個(gè)LLM系列，其參數(shù)從70億個(gè)到650億個(gè)不等。Llama模型接受了1.4萬(wàn)億個(gè)Tokens的訓(xùn)練，而GPT-3只有3000億個(gè)Tokens。

Llama模型具有資源效率和高性能，并在幾個(gè)關(guān)鍵基準(zhǔn)測(cè)試中與ChatGPT進(jìn)行了比較。而且Llama是開源的，這意味著開發(fā)人員能夠以非常低的成本直接在他們的服務(wù)器上運(yùn)行它，甚至可以在單個(gè)GPU上運(yùn)行。

在Llama模型發(fā)布之后，DeepMind又發(fā)布了一系列其他的開源模型，每個(gè)模型都是在之前的基礎(chǔ)上構(gòu)建和改進(jìn)的。許多LLM產(chǎn)品附帶許可，允許開發(fā)人員使用它們創(chuàng)建LLMLM產(chǎn)品。

模型壓縮、量化、低秩適應(yīng)，以及多年來(lái)其他發(fā)展起來(lái)的技術(shù)，使開發(fā)人員和企業(yè)在其應(yīng)用程序中采用開源模型變得越來(lái)越方便。新的編程框架、低代碼/無(wú)代碼工具和在線平臺(tái)使一些企業(yè)在其基礎(chǔ)設(shè)施上定制和運(yùn)行LLM變得更加容易，并且承諾了一些創(chuàng)新，例如在邊緣設(shè)備上運(yùn)行的高性能LLM。

公平地說(shuō)，OpenAI的LLM模型在性能上仍然具有一定優(yōu)勢(shì)，目前還沒看到能夠趕超GPT-4的LLM。但是一些開源模型已經(jīng)達(dá)到并超過(guò)了GPT-3.5的性能，而它們趕超GPT-4和其他最先進(jìn)的LLM只是時(shí)間問題。

開源模式將會(huì)奪走大型科技公司的技術(shù)優(yōu)勢(shì)，并使LLM實(shí)現(xiàn)商品化。隨著轉(zhuǎn)換成本的下降，越來(lái)越多的企業(yè)將被激勵(lì)從GPT-4轉(zhuǎn)向低成本的開源模式。即使這些模型在性能上還沒有趕超GPT-4，但大多數(shù)企業(yè)都有專門的需求，可以通過(guò)精心調(diào)整的LLM來(lái)滿足這些需求，這種模型的成本很低，并且可以滿足數(shù)據(jù)所有權(quán)和隱私等其他需求。

2、GPT商店、用戶綁定和集成

由于沒有基礎(chǔ)設(shè)施和技術(shù)方面的護(hù)城河，OpenAI需要轉(zhuǎn)向其他方面，以確保其業(yè)務(wù)的可防御性。該公司已經(jīng)采取了一些戰(zhàn)略舉措來(lái)建造新的護(hù)城河。

該公司這一戰(zhàn)略的一個(gè)重要部分是圍繞其旗艦產(chǎn)品ChatGPT創(chuàng)造網(wǎng)絡(luò)效應(yīng)。OpenAI在去年11月首次宣布計(jì)劃推出的GPT Store已上線運(yùn)行。它是蘋果應(yīng)用商店的人工智能版本，允許用戶和開發(fā)人員分享他們定制的LLM版本供其他人使用。雖然大多數(shù)GPT都將死掉，但其中一些LLM將非常有用，能夠提高生產(chǎn)力。

OpenAI還將提供企業(yè)功能，允許注冊(cè)ChatGPT團(tuán)隊(duì)計(jì)劃的企業(yè)擁有自己的私有GPT商店。

OpenAI的想法是，有了足夠的臨界質(zhì)量，用戶會(huì)堅(jiān)持使用ChatGPT，更多的用戶會(huì)注冊(cè)ChatGPT Plus計(jì)劃來(lái)訪問GPT商店。開發(fā)人員將會(huì)一直使用這個(gè)平臺(tái)，讓他們的產(chǎn)品能夠接觸到更多的用戶。隨著發(fā)布更多的ChatGPT的內(nèi)容，用戶的大規(guī)模使用也將為該公司進(jìn)行免費(fèi)宣傳，進(jìn)一步使其成為L(zhǎng)LM應(yīng)用程序的實(shí)際載體。

OpenAI正在通過(guò)盈利強(qiáng)化網(wǎng)絡(luò)效應(yīng)。該公司在其網(wǎng)站聲稱，“在2024年第一季度，美國(guó)GPTs構(gòu)建者們將根據(jù)用戶與GPT的互動(dòng)程度獲得報(bào)酬。”這意味著他們將激勵(lì)用戶最大程度的參與，以提高產(chǎn)品的粘性。但它也會(huì)產(chǎn)生復(fù)制社交媒體所有不好的事情的負(fù)面影響。

與此同時(shí)，OpenAI將加強(qiáng)數(shù)據(jù)網(wǎng)絡(luò)效應(yīng)，以不斷改進(jìn)其產(chǎn)品。如果用戶使用的是免費(fèi)計(jì)劃，OpenAI將收集他們的數(shù)據(jù)來(lái)進(jìn)一步訓(xùn)練它的模型。如果用戶使用的是ChatGPT Plus計(jì)劃，除非選擇退出數(shù)據(jù)收集計(jì)劃，否則他們的數(shù)據(jù)仍將被收集。

例如，OpenAI在其推特上向用戶發(fā)布這樣的信息：“嘿，你可以在設(shè)置頁(yè)面上選擇退出訓(xùn)練，無(wú)論是免費(fèi)還是附加計(jì)劃。我會(huì)確保讓團(tuán)隊(duì)知道，并在網(wǎng)頁(yè)上澄清這一點(diǎn)——willdepue (@willdepue) 2024年1月11日”。

另一項(xiàng)重要工作是降低運(yùn)行ChatGPT的成本。OpenAI首席執(zhí)行官Sam Altman最近在接受采訪時(shí)表示，該公司已經(jīng)成功地將LLM的運(yùn)營(yíng)成本降低了40倍。隨著開源LLM繼續(xù)趕超ChatGPT，降低成本將使OpenAI能夠?yàn)槊赓M(fèi)和付費(fèi)用戶推出更多功能。

OpenAI也在為未來(lái)發(fā)展做準(zhǔn)備。據(jù)稱OpenAI在自己的設(shè)備上運(yùn)行ChatGPT，這可能是圍繞其LLM專門構(gòu)建的。這將賦予它垂直整合的力量，就像蘋果公司對(duì)iOS生態(tài)系統(tǒng)的鐵腕控制一樣。人們看到的可能是計(jì)算領(lǐng)域新范式轉(zhuǎn)變的開端。隨著該領(lǐng)域的發(fā)展和新的計(jì)算范式的出現(xiàn)，OpenAI準(zhǔn)備推出其垂直堆棧。

參考鏈接：https://bdtechtalks.com/2024/01/15/how-openai-is-building-its-moat/