自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

開源模型,是全村希望還是智商稅? 原創(chuàng)

發(fā)布于 2024-9-3 15:51
瀏覽
0收藏

嘉賓 | 郭煒、沈旸、程戈

主持 | 薛彥澤

整理 | 李美涵

大模型的場域,被開閉源自動地劃分為兩個陣營。自此,開閉源之爭的硝煙一直盤旋在大模型的上空。

從奧特曼頗為無力的辯稱:OpenAI的Open指的是人工智能成果的廣泛共享,而非模型的開源。到李彥宏直截了當(dāng)?shù)臄嘌裕洪_源模型可能是一種“智商稅”,隨著時間的推移,開源模型只會越來越落后。開源模型在商業(yè)模式上的斷裂及性能的落后一直飽受詬病。

然而,Llama 3.1的橫空出世給開源注入了強(qiáng)心劑。有人說,Meta的持續(xù)開源是對開源唱衰論的最有力反擊。周鴻祎也站出來說,大模型不該淪為少數(shù)廠家的賺錢工具。

為了能挖掘這場開閉源之爭的更多細(xì)節(jié),AIGC實(shí)戰(zhàn)派邀請了白鯨開源CEO 郭煒、前神碼CIO 沈旸以及湖南國家應(yīng)用數(shù)學(xué)中心副主任程戈,深入探討了“為什么市面上頭部AI產(chǎn)品依賴閉源大模型?”“開源是不是比閉源的成本更高”等話題,力圖厘清開閉源之爭的這一爭鋒點(diǎn)——開源大模型,到底是全村的希望,還是智商稅?

以下是訪談要點(diǎn):

?Meta的開源策略,其主要目的是搶奪信息入口,而非商業(yè)授權(quán)帶來的收入。開源模型可能有后勁不足的問題。

?當(dāng)前大模型的參數(shù)還不夠大。如果以人腦的神經(jīng)元作為參考,能實(shí)現(xiàn)AGI的大模型,其參數(shù)規(guī)??赡苄枰_(dá)到萬億甚至十萬億級別。

?開源的商業(yè)模式尚未成熟。對于To C的AI產(chǎn)品來說,模型性能的微弱差異都可能會影響到最終的用戶體驗(yàn)。

?開源模型所要求的微調(diào)、部署等額外成本,只有能從壟斷性的行業(yè)中收回時才合理,所以適合醫(yī)療、金融領(lǐng)域的B端客戶。

?開源大模型的size一定是有體量限制的,考慮到企業(yè)部署和運(yùn)行模型的成本,估計開源的“爆點(diǎn)”將在100B左右大小誕生。

?目前的開源模型還不是真開源,無法調(diào)動整個社區(qū)的力量。開源的核心在于改動能夠被貢獻(xiàn)回上游,從而一起打造更強(qiáng)大的工具。

經(jīng)過整理的采訪內(nèi)容如下。

1.開源頂流“剛”得過GPT-4o ?

薛彥澤:最近Meta公司開源的Llama 3.1 405B的模型能不能剛得過GPT-4o?模型的實(shí)力究竟是怎樣的,如此龐大的體量會不會在實(shí)際部署時遇到挑戰(zhàn)?

沈旸: 我們看到這個參數(shù)的時候,就放棄部署了,知道肯定跑不起來。不過,我認(rèn)為這個size的商業(yè)化潛力很大。如果是一個7B參數(shù)的小模型,企業(yè)很容易完成私有部署,模型廠商很難賺到錢。但對于405B這樣size的模型,一般企業(yè)很難搞定,必須要借助云服務(wù),這是一條重要的營收來源。

程戈:Llama和GPT,商業(yè)邏輯是不一樣的。Meta的開源策略是出于對流量入口的爭奪,就像移動互聯(lián)網(wǎng)的時代,安卓通過開源以對抗蘋果一樣。

每當(dāng)Meta開源新的模型,股價就會上揚(yáng),這說明資本對其商業(yè)策略是認(rèn)可的。但Meta是否真的能達(dá)到其商業(yè)目的,我是會畫個問號的,對B端用戶來說,開源模型可能無法完全保證其數(shù)據(jù)安全;對C端流量來說,Meta是否能夠通過吸引用戶并將模型封裝成優(yōu)質(zhì)產(chǎn)品,還有待觀察。

值得注意的是,與移動互聯(lián)網(wǎng)時代不同,大模型作為后臺服務(wù),API的切換相對容易,用戶和服務(wù)商粘性不強(qiáng)。所以我擔(dān)心我對Meta的開源策略可能后勁不足,我想他們主要目的還是搶占信息入口,而非商業(yè)授權(quán)帶來的收入。

郭煒:我自己搞開源10多年了,據(jù)我觀察,開源項(xiàng)目的成熟一般需要三到五年的時間。現(xiàn)在就斷言大模型的開源項(xiàng)目能不能打敗GPT-4o可能為時尚早。

首先,大模型的熱潮雖然讓Llama等開源模型廣為人知,但它們的產(chǎn)品形態(tài)和未來方向?qū)嶋H上還未確定。其次,我不認(rèn)為大模型本身是一個產(chǎn)品,我覺得它更像是數(shù)據(jù)庫這樣的基礎(chǔ)組件。不同的模型可以類比為Oracle、Postgres或MySQL——它們本身并不直接解決業(yè)務(wù)問題,而是作為構(gòu)建其他應(yīng)用的基礎(chǔ)。

薛彥澤:那我們再往上一層說,開閉源生態(tài),目前各處于什么樣的狀態(tài),哪個可能更占優(yōu)一點(diǎn)?

郭煒:我說一個跟大家稍微不一樣的觀點(diǎn),我認(rèn)為大模型本身不那么重要,誰掌握數(shù)據(jù)才重要。模型跑分高不代表在實(shí)際的應(yīng)用場景中能滿足用戶的需求。

為什么手機(jī)百度里的AI搜索助手使用頻率那么高,能以80%到90%的準(zhǔn)確率快速回答問題,就是因?yàn)橛邪俣鹊臄?shù)據(jù)加持,讓你快速獲得你需要的數(shù)據(jù),豆包和元寶的優(yōu)勢也在于此。

程戈: 我想補(bǔ)充一下具身智能領(lǐng)域的信息,在這方面我覺得開源的市場會更好一些。具身智能如果要實(shí)現(xiàn)離線功能,必然需要在開源基礎(chǔ)上進(jìn)行開發(fā),并對模型進(jìn)行精簡,使其體量足夠小,能完成家政等特定場景中的任務(wù)就可以。

開源生態(tài)的話,已經(jīng)在運(yùn)動規(guī)劃方面公開了權(quán)重,無需再付出預(yù)訓(xùn)練的成本,只要去做微調(diào)就可以了,能夠很好的降低成本。

2.“模型先變小,才能繼續(xù)變大”?

薛彥澤:現(xiàn)在AI領(lǐng)域有個論斷說,“模型必須先變小,才能繼續(xù)變大”,老師們怎么看這條規(guī)律?

郭煒:不能說這個規(guī)律不對哈。但是,大和小是模型的兩個不同層次,是并行的,本質(zhì)是取決于不同的應(yīng)用場景。

我還是以數(shù)據(jù)庫的發(fā)展舉例,在早期,大家做數(shù)據(jù)庫也是拼命做大。像IBM的DB2這樣的大型數(shù)據(jù)庫可能需要占據(jù)整個房間,而隨著技術(shù)的進(jìn)步,它們逐漸縮小到機(jī)柜甚至單個服務(wù)器的規(guī)模。同時,也出現(xiàn)

了針對特定場景優(yōu)化的小型數(shù)據(jù)庫,比如運(yùn)行在手機(jī)或電腦中的數(shù)據(jù)庫。

我覺得大模型的發(fā)展也會是雙向的,而不是所謂的“先后”。解決通用問題還是需要大模型,具體到一個具體問題,例如智能眼鏡的日常交互,一定是小模型更合適。

薛彥澤:更大模型的推出速度好像在放緩,比如GPT-5的延期。

郭煒:大模型的迭代速度慢。然而,LLM領(lǐng)域的“軍備競賽”尚未結(jié)束,后面肯定還有更大的模型。

薛彥澤:回到這個論斷本身,是否暗示了現(xiàn)在的大模型訓(xùn)練遇到了數(shù)據(jù)、算力等方面的瓶頸,需要采取蒸餾等方法先得到小模型,才能繼續(xù)發(fā)展?

沈旸: 我覺得模型當(dāng)前的參數(shù)還不夠大。如果以人腦的1000億個神經(jīng)元作為參考,現(xiàn)有的AI模型參數(shù)量與之相比還相差甚遠(yuǎn)。如果AGI能做到在各種任務(wù)上超越人類,參數(shù)規(guī)??赡苄枰_(dá)到萬億甚至十萬億級別。

在達(dá)到這樣的規(guī)模之前,我們都在探索AI大模型的天花板。因?yàn)閠ransformer架構(gòu)是個概率模型,只有當(dāng)我們觸及到這個極限,等那時我們才會考慮通過蒸餾等方法來縮小模型規(guī)模,看是否能夠在減少參數(shù)的同時保持或提升性能。

例如下一次發(fā)的4050B模型,跑分只比405B高一分,這個時候就應(yīng)該考慮往小里做了。總的來說,這還是一個探索的階段,未知空間還很大。

有關(guān)數(shù)據(jù)的問題,我個人感受是數(shù)據(jù)還遠(yuǎn)遠(yuǎn)沒有耗盡。目前大模型學(xué)到的都是表面的知識,就像三體人學(xué)習(xí)人類一樣。經(jīng)過篩選的數(shù)據(jù),使得模型都是中立的“偉光正”。就像今天的這場直播,我們會有觀點(diǎn)的沖突,之后才有討論、說服和決策,但目前的大模型還沒有允許被“喂”不同立場或者是“人格”的語料。

程戈: 參數(shù)規(guī)模,主要是兩個原因決定的。我們說的“智能涌現(xiàn)”,是說隨著參數(shù)擴(kuò)大,模型的性能線性提升,但到達(dá)某一點(diǎn)后,性能提升會非??臁H欢?,如果要再進(jìn)一步,則需要更高質(zhì)量的數(shù)據(jù)。而目前,帶來的信息增益是最多的數(shù)據(jù)已經(jīng)消耗的差不多了。

其次,多模態(tài)數(shù)據(jù)的引入雖然帶來了參數(shù)規(guī)模的增長。然而,視覺數(shù)據(jù)跟自然語言數(shù)據(jù)相比,噪聲太多。在這種情況下,單純增加參數(shù)規(guī)模帶來的成本收益比將逐漸降低,因此我們可能不會繼續(xù)盲目增加參數(shù)規(guī)模。另外,端側(cè)推理的需求也影響了模型規(guī)模,在本地能run的模型隱私性更好,這使得現(xiàn)階段小模型的涌現(xiàn)和流行成為自然。

3.頭部產(chǎn)品依賴閉源模型?

薛彥澤:現(xiàn)在AI的頭部產(chǎn)品,幾乎都是依賴閉源大模型的。開源模型是不是主要面向B端和學(xué)術(shù)側(cè)?為什么會出現(xiàn)這種現(xiàn)象?

郭煒:閉源大模型已經(jīng)有了自己的商業(yè)模式。而開源在這方面還未成熟,可能需要三到五年的時間,才能真正進(jìn)入良性的生長周期。

以安卓為類比,它也是做了很多年才開始有收入的。

目前,閉源模型在To C領(lǐng)域用的更多,因?yàn)樗鼈冇辛髁?,能夠吸引投資人,獲得大量的資金支持。而開源模型雖然在To B上有所應(yīng)用,但不如前者廣泛。在To B領(lǐng)域,場景適配的重要性遠(yuǎn)超過模型本身的性能。許多海外的SaaS服務(wù),仍然在調(diào)用閉源模型的API。因?yàn)殚_源模型還需要自行部署、訓(xùn)練和優(yōu)化,這對于企業(yè)來說是額外的投入。

沈旸:目前為什么閉源模型更受歡迎呢,我覺得可以從以下幾種商業(yè)情景考慮:

首先,對于想做初期POC(概念驗(yàn)證)或企業(yè)內(nèi)部應(yīng)用來說,使用閉源模型的成本非常低廉。大模型云調(diào)用的方式省去了硬件成本,通過按需付費(fèi)(如按token計費(fèi))方式即可。

其次,對于目標(biāo)是做到頭部AI應(yīng)用的用戶來說,為了追求效率和性能,也會傾向于采用閉源模型。

最后,就是我剛才提到的,開源模型一定是個“偉光正”的大模型,這使得AI在內(nèi)容上有過濾,可能在商業(yè)效果上打折扣。

如果要說開源大模型的未來,我覺得關(guān)鍵在大型企業(yè)出于數(shù)據(jù)安全考慮,必須進(jìn)行本地部署的情況。然而,在這種情況下,模型的size一定是有體量限制的,要能兼顧模型的運(yùn)行和成本等問題,我估計范圍在100B左右。

程戈: 我覺得這是模型不同的商業(yè)模式所決定的。在C端市場,即使是細(xì)微的性能差距也會在客戶體驗(yàn)中被放大,導(dǎo)致使用開源模型的產(chǎn)品在商業(yè)競爭中處于劣勢。

設(shè)想一個B端企業(yè)采用開源模型,其競爭對手使用閉源,模型之間可能只有5%到10%的效果差距。但對一般用戶來說,他們并不關(guān)心這一點(diǎn)點(diǎn)差距,因此用戶體驗(yàn)成為了競爭的關(guān)鍵。只有當(dāng)開源模型的能力達(dá)到與閉源模型相似的水平時,中間廠商才會采用并提供給中小開發(fā)者使用。

為什么是現(xiàn)在大家看到開源在B端和學(xué)術(shù)界受歡迎?B端是因?yàn)樵S多行業(yè)的競爭能力來源于其私有數(shù)據(jù),為了保護(hù)商業(yè)利益,哪怕性能遜色些,也不得不用開源。而學(xué)術(shù)界的研究和實(shí)驗(yàn)需要,與閉源模型的黑盒特性間不適配,不滿足學(xué)術(shù)研究的透明度和可復(fù)現(xiàn)性。

4.使用開源模型,成本未必低于閉源?

薛彥澤: 接下來我們聊聊開源模型的成本,因?yàn)檫€需要投入人力做微調(diào),在實(shí)際的生產(chǎn)環(huán)境中也許不如閉源更經(jīng)濟(jì)?

沈旸:開源之所以貴,就是大家想去做微調(diào),只要你放棄了這個想法,它的使用成本是極其低的。

例如,如果你想將一個通用的開源大模型調(diào)整為特定于金融領(lǐng)域的模型,這非常難,更好的做法是等待金融領(lǐng)域的大企業(yè)把這個模型開源出來。盡量不要自己做微調(diào),更為經(jīng)濟(jì)高效。

薛彥澤:但開源模型的價值不就在于大家可以自己做微調(diào)和訓(xùn)練嗎?

郭煒:做個比喻,我就覺得開源模型比作一個中專生,它可能不如閉源模型那樣已經(jīng)達(dá)到大專生的水平,但開源模型的優(yōu)勢在于它的可塑性。你可以通過微調(diào)來教授它專業(yè)知識,或者通過規(guī)則來指導(dǎo)它,使其適應(yīng)特定領(lǐng)域的應(yīng)用。

然而,無論采用哪種方式,開源模型使用的時間成本一定是大于閉源模型的。如果你想在短期內(nèi)做一個產(chǎn)品,使用閉源模型是必然的。說實(shí)話,目前的開源大模型是愛好者,前輩級大企業(yè)的玩具,普通企業(yè)很難入場去用。

薛彥澤: 如果程老師做一款A(yù)I產(chǎn)品,會選擇開源還是閉源?

程戈:開源跟閉源的選擇,它跟最終的產(chǎn)品形態(tài)是相關(guān)的,而不是簡單的根據(jù)To B 還是To C來決定。

如果我面向的是行業(yè)用戶,例如醫(yī)療領(lǐng)域,我會選擇開源模型。因?yàn)樵谶@種情況下,我積累的醫(yī)療數(shù)據(jù)是行業(yè)內(nèi)的競爭優(yōu)勢,而其他醫(yī)療巨頭把模型開源的概率非常小,因?yàn)檫@不符合他們的商業(yè)利益。因此,我會將開源模型與我的領(lǐng)域特定場景和數(shù)據(jù)結(jié)合起來。

但如果我的產(chǎn)品是基于一個創(chuàng)意idea,只是用大模型來為C端用戶提供增值服務(wù),那么我選閉源。開源模型雖然省去了預(yù)訓(xùn)練成本,但增加了微調(diào)、推理及維護(hù)的成本。這些額外成本只有能從行業(yè)壟斷性或競爭力中收回時才合理。

5.開源模型,是全村希望還是智商稅?

薛彥澤: 李彥宏近日提出“開源模型都是智商稅”,包括月之暗面的楊植麟也說開源只是To B的拓客手段,怎么看?

郭煒:用剛才的比喻來說,現(xiàn)在的開閉源放在一起比,就是用安卓1.0對打iPhone 3GS,現(xiàn)在看著開源模型還比較弱,將來誰贏誰輸尚未可知。

但我倒是不同意將開源模型粗暴地當(dāng)做"智商稅"。開源模型,盡管沒有經(jīng)過商業(yè)化打磨,但有可能像早期的安卓系統(tǒng)那樣,擁有活躍的社區(qū)和多方參與,能夠快速迭代和改進(jìn)。

問題是,現(xiàn)在開源模型我覺得不是真開源。真正的開源是能夠獲得正反饋的,應(yīng)該包括代碼、數(shù)據(jù)和訓(xùn)練方法的全面開放,允許用戶發(fā)現(xiàn)問題并做出貢獻(xiàn)?,F(xiàn)在開源模型不是這樣的,缺少數(shù)據(jù)和訓(xùn)練方法的開放,無法獲得實(shí)質(zhì)性的反饋和改進(jìn)。

我和阿帕奇基金會成員討論過,了解到開源模型的標(biāo)準(zhǔn)正在制定。只有當(dāng)這些標(biāo)準(zhǔn)確立后,我們才能深入討論什么是開源模型。此外,盡管有些企業(yè)基于開源模型進(jìn)行開發(fā),但這些改動往往無法反饋到原始模型中,這限制了開源社區(qū)的健康發(fā)展。開源的核心在于改動能夠被貢獻(xiàn)回上游,從而一起打造更強(qiáng)大的工具。而現(xiàn)在的開源大模型還只是一個分發(fā)渠道。

沈旸:首先來說,李彥宏說“開源模型都是智商稅”的時候,一定是有其特定背景的。當(dāng)時提出這一觀點(diǎn)時,國內(nèi)還沒有出現(xiàn)70B參數(shù)級別的開源大模型,當(dāng)時開源模型的性能與閉源模型相比差距很大,幾乎無法使用。因此,很多公司對開源模型進(jìn)行一些簡單的改造,然后提供給企業(yè),這可能是他所批評的行為。

但以今天的情況看,這一觀點(diǎn)已經(jīng)不再成立。無論是國內(nèi)70B參數(shù)的模型,還是如405B這樣的模型,性能已經(jīng)非常接近閉源模型,推理成本也相差無幾。

至于未來誰更強(qiáng)大,我認(rèn)為這與開源或閉源沒有直接關(guān)系,而是看誰砸的錢更多。例如,如果Meta 能投入100億美元,而百度只能投入10億美元,那么投入更多的公司無論是開源還是閉源,其模型性能都會很強(qiáng)。

目前,無論是百度、阿里、Meta還是其他公司,都不是以AI或大模型作為主要營收來源。如果依賴這些作為主要營收,我覺得沒有一家公司能活得下去。

程戈:李彥宏的觀點(diǎn)有一定的道理,特別是在當(dāng)時國內(nèi)出現(xiàn)了所謂的千模大戰(zhàn),以及許多基于開源模型的小規(guī)模微調(diào)產(chǎn)品,這些產(chǎn)品在性能上很難超越閉源模型。

不過,周鴻祎說大模型不應(yīng)該成為少數(shù)廠商的賺錢工具,我也同意這個看法。歸根到底,這和他們各自的商業(yè)模式有關(guān)系。

現(xiàn)在,不同企業(yè)根據(jù)自身的優(yōu)勢進(jìn)行差異化競爭。例如,百度利用其在搜索領(lǐng)域的數(shù)據(jù)積累,而其他公司比如字節(jié)則可能利用自己強(qiáng)大的內(nèi)容生產(chǎn)生態(tài)。這些企業(yè)都在走差異化路線,借助自己在生態(tài)上的積累,讓AI的價值最大化。

不過,市場上的通用大模型最終不會容下太多競爭者——就像手機(jī)操作系統(tǒng)一樣,市場最終只會留下少數(shù)幾家。這將是一個自然選擇的過程,由市場決定哪些模型能夠生存下來。

本文轉(zhuǎn)載自??51CTO技術(shù)棧??,作者:李美涵

?著作權(quán)歸作者所有,如需轉(zhuǎn)載,請注明出處,否則將追究法律責(zé)任
標(biāo)簽
收藏
回復(fù)
舉報
回復(fù)
相關(guān)推薦