現(xiàn)如今，我們站在了大模型技術(shù)和產(chǎn)業(yè)發(fā)展的中場(chǎng)思考階段。這個(gè)階段的開(kāi)啟源于 ChatGPT 的誕生，它引發(fā)了廣泛而深入的關(guān)注。盡管這種關(guān)注對(duì)于推動(dòng)技術(shù)和產(chǎn)業(yè)的發(fā)展起到了至關(guān)重要的作用，但同時(shí)我們也看到了一系列問(wèn)題的浮現(xiàn)。這些問(wèn)題包括成本和價(jià)值的問(wèn)題以及一些根本性的缺陷，例如“幻覺(jué)”的問(wèn)題。這些問(wèn)題的存在使得我們有必要進(jìn)行中場(chǎng)思考，以便總結(jié)上半場(chǎng)的經(jīng)驗(yàn)和教訓(xùn)，從而更好地開(kāi)啟下半場(chǎng)。

一、時(shí)代背景

1、技術(shù)飛速發(fā)展

事實(shí)上，許多技術(shù)的發(fā)展和產(chǎn)品的演進(jìn)背后都有其內(nèi)在的邏輯，這是時(shí)代發(fā)展的內(nèi)在動(dòng)力。自去年 ChatGPT 于 11 月份發(fā)布以來(lái)，短短不到兩個(gè)月的時(shí)間內(nèi)，用戶數(shù)就突破了近 1 億，而此前最流行的互聯(lián)網(wǎng)產(chǎn)品 TikTok 卻花了近九個(gè)月的時(shí)間?？梢哉f(shuō)，過(guò)去的十幾個(gè)月是一段極其夢(mèng)幻的時(shí)期，對(duì)于我們這些從事技術(shù)和研發(fā)的人員來(lái)說(shuō)，幾乎每一天都可能見(jiàn)證一個(gè)新的歷史時(shí)刻，OpenAI 的每一次動(dòng)態(tài)都會(huì)引起了我們的高度關(guān)注，只因他們的許多技術(shù)往往能帶來(lái)歷史性的突破。

通用人工智能技術(shù)發(fā)展的日新月異且速度的明顯加快也說(shuō)明了，在還沒(méi)有來(lái)得及消化舊技術(shù)的時(shí)候，新的概念就已經(jīng)出現(xiàn)。并且在過(guò)去的十多個(gè)月里，我們基本上一直處于這樣的狀態(tài)，似乎唯一不變的就是變化本身，技術(shù)的變化和加速已經(jīng)成為了一種常態(tài)。

2、發(fā)展帶來(lái)了復(fù)雜性和風(fēng)險(xiǎn)

技術(shù)的快速變化已經(jīng)成為常態(tài)，導(dǎo)致我們所處的世界日益復(fù)雜。以汽車(chē)為例，其構(gòu)造需要大量的零件和元器件，而智能車(chē)需要運(yùn)行幾億行代碼，顯示出的系統(tǒng)復(fù)雜性已經(jīng)超出了我們的認(rèn)知能力。因此，我們現(xiàn)在正處在一個(gè)復(fù)雜系統(tǒng)的時(shí)代，面臨的挑戰(zhàn)也越來(lái)越復(fù)雜。

社會(huì)發(fā)展的不確定性與失控風(fēng)險(xiǎn)的增加，促使我們開(kāi)始思考當(dāng)下我們整個(gè)人類(lèi)社會(huì)的一個(gè)共同命題，即應(yīng)對(duì)這種失控的風(fēng)險(xiǎn)的能力，其中強(qiáng)大的認(rèn)知能力就是關(guān)鍵。

3、大模型才是未來(lái)

但是，人類(lèi)的認(rèn)知能力有其極限。人類(lèi)的智能作為一種典型的生物智能，發(fā)展速度相對(duì)緩慢，而機(jī)器的智能發(fā)展卻迅速無(wú)比。因此，歷史的發(fā)展使我們明白，我們需要考慮發(fā)展人機(jī)協(xié)作的認(rèn)知，讓機(jī)器協(xié)助我們理解這個(gè)復(fù)雜的世界，以應(yīng)對(duì)日益增加的失控風(fēng)險(xiǎn)。

機(jī)器認(rèn)知能力是隨著算力和數(shù)據(jù)的增長(zhǎng)而增長(zhǎng)的，在算力和數(shù)據(jù)的加持下，其能力不斷提升，以此來(lái)應(yīng)對(duì)這個(gè)世界的復(fù)雜性，大模型的出現(xiàn)成為了一種必然。

現(xiàn)今已經(jīng)涌現(xiàn)了各式各樣的大模型，并且能力還在增長(zhǎng)，我們見(jiàn)證著通用人工智能的到來(lái)和進(jìn)步，包括語(yǔ)言模型，多模態(tài)模型和具身模型等方方面面。

通用人工智能（AGI）已然形成了一場(chǎng)新的革命。與以往如蒸汽革命、電力革命不同，通用人工智能創(chuàng)造的是智力本身，是滲透到我們整個(gè)社會(huì)每一根毛細(xì)血管的能力，這一場(chǎng)革命必將影響廣泛且深遠(yuǎn)。

4、大模型給我們帶來(lái)了什么？

那么大模型究竟給我們帶來(lái)了什么呢？

• 海量的參數(shù)化知識(shí)容器
  語(yǔ)言模型以參數(shù)化形式編碼了數(shù)據(jù)中蘊(yùn)含的知識(shí)，并且已基本上證實(shí)大模型是一個(gè)跨學(xué)科的全才，跨學(xué)科的知識(shí)容器。
• 人類(lèi)認(rèn)知能力的引擎
  大模型更是能力的提供者，尤其是人類(lèi)認(rèn)知能力。今天的大模型能夠很好地勝任常識(shí)與概念的理解任務(wù)，還產(chǎn)生了一定的自我判斷和價(jià)值判斷。
• 日益成為自治智能體的大腦
  大模型很有可能會(huì)成為一個(gè)自治智能體的大腦，即 Agent。未來(lái)的它除了認(rèn)知外，還能夠成為一個(gè)決策的 Agent，能夠勝任各種復(fù)雜任務(wù)，以協(xié)助的角色融入到未來(lái)的千行百業(yè)當(dāng)中。
• 消滅自然語(yǔ)言鴻溝
  人機(jī)交互形式在未來(lái)會(huì)統(tǒng)一為自然語(yǔ)言，傳統(tǒng)人機(jī)交互是人“遷就”機(jī)器而采用繁瑣復(fù)雜的交互接口，大模型時(shí)代將人機(jī)交互范式統(tǒng)一為了自然語(yǔ)言形式。
• 消滅專業(yè)語(yǔ)言鴻溝
  在以往，專業(yè)工作需要特定的形式語(yǔ)言（Python 等）與機(jī)器交互，而今天機(jī)器“理解”專業(yè)語(yǔ)言不再存在障礙，專業(yè)性的工作門(mén)檻將極大地降低。

二、定位與認(rèn)知

1、大模型的各種能力

對(duì)于大模型的探索我們還需要更清晰地定位與認(rèn)知。對(duì)于各個(gè)行業(yè)來(lái)說(shuō)，相較于“通識(shí)”的全才，企業(yè)更需要的是“專識(shí)”的專家，所以在重視通用大模型的同時(shí)，垂類(lèi)的領(lǐng)域大模型也是值得關(guān)注的。實(shí)際上通識(shí)專業(yè)認(rèn)知能力是建立在通識(shí)能力基礎(chǔ)之上的，“通用”是理解“領(lǐng)域”的前提，要“煉制”通用的大語(yǔ)言模型，一般來(lái)講訓(xùn)練語(yǔ)料越是廣泛而多樣，通用大模型能力越強(qiáng)。

另外，大模型的“舉一反三”能力也同樣值得我們關(guān)注。以往在任務(wù)訓(xùn)練中，如果我們需要模型具備某一項(xiàng)能力，則需要去特定地訓(xùn)練這類(lèi)任務(wù)，且任務(wù)與任務(wù)之間是不具備組合能力的。而大模型卻能夠?qū)⑷我鈨煞N學(xué)科、技能進(jìn)行組合創(chuàng)新，將兩個(gè)不相關(guān)的能力進(jìn)行組合使用。

大模型還具有強(qiáng)大地評(píng)估評(píng)價(jià)的能力。以往的模型訓(xùn)練都需要依賴標(biāo)注數(shù)據(jù)來(lái)最終評(píng)估模型的好壞，而現(xiàn)在 GPT4 等優(yōu)秀的大模型，經(jīng)過(guò)適當(dāng)?shù)囊龑?dǎo)之后，也可以具備人類(lèi)水平，甚至是專家水平的評(píng)估能力。

大模型對(duì)復(fù)雜任務(wù)的規(guī)劃、執(zhí)行和拆解能力也同樣值得重視。對(duì)于類(lèi)似數(shù)據(jù)分析、統(tǒng)計(jì)假設(shè)檢驗(yàn)這種復(fù)雜的任務(wù)，即使是豐富研究經(jīng)驗(yàn)的人員來(lái)完成，也需要半天時(shí)間才能輸出報(bào)告，而只要 Agent 的能力足夠強(qiáng)，大模型可以在數(shù)十秒內(nèi)完成整個(gè)流程。

更值得關(guān)注的是，通用大模型在跨越專業(yè)的知識(shí)方面存在巨大優(yōu)勢(shì)。人類(lèi)在大部分情況下，可能會(huì)成為某個(gè)行業(yè)的專家，但很難成為全才，這使得我們的平均通識(shí)水平并不高。而大模型極大地提升了人類(lèi)在各個(gè)領(lǐng)域的通識(shí)水平，這使得大模型能夠幫助人類(lèi)完成跨系統(tǒng)、跨領(lǐng)域的專業(yè)工作，讓跨系統(tǒng)邊界的復(fù)雜系統(tǒng)認(rèn)知成為可能。

2、大模型對(duì)于 To B 市場(chǎng)

在企業(yè)端市場(chǎng)也就是我們常說(shuō)的 To B 市場(chǎng)，也將會(huì)因?yàn)?ChatGPT 的到來(lái)而迎來(lái)一場(chǎng)全新變革。與傳統(tǒng)的汽車(chē)制造業(yè)類(lèi)比，大模型對(duì)于 To B 市場(chǎng)的首要意義在智能引擎升級(jí)。To B 產(chǎn)品是建立在智能引擎基礎(chǔ)之上的，傳統(tǒng)數(shù)據(jù)驅(qū)動(dòng)、知識(shí)驅(qū)動(dòng)或者二者聯(lián)合驅(qū)動(dòng)的智能引擎，將會(huì)被全新的大模型引擎所重塑。

然而正如前文所述，大模型在領(lǐng)域復(fù)雜決策應(yīng)用場(chǎng)景上仍然有明顯的短板與不足，尚達(dá)不到領(lǐng)域?qū)＜业哪芰ΑＲ虼?，我認(rèn)為未來(lái)仍是以大模型為代表的數(shù)據(jù)驅(qū)動(dòng)與領(lǐng)域知識(shí)圖譜為代表的知識(shí)驅(qū)動(dòng)相結(jié)合的雙引擎驅(qū)動(dòng)模式。由大模型實(shí)現(xiàn)領(lǐng)域?qū)＜业闹庇X(jué)決策，由知識(shí)圖譜實(shí)現(xiàn)領(lǐng)域?qū)＜业倪壿嫑Q策，唯有兩者結(jié)合才能復(fù)現(xiàn)領(lǐng)域?qū)＜医鉀Q問(wèn)題的能力。如果與傳統(tǒng)的操作系統(tǒng)類(lèi)比，大模型可以作為 To B 產(chǎn)品的控制器。作為具有一定的領(lǐng)域通識(shí)能力的大模型，有能力勝任企業(yè)級(jí)智能系統(tǒng)的控制器，協(xié)調(diào)傳統(tǒng)的 IT 系統(tǒng)（比如數(shù)據(jù)庫(kù)、知識(shí)庫(kù)、CRM、ERP、BI 系統(tǒng)等）。

然而在上述產(chǎn)品研發(fā)中，我們?nèi)匀幻媾R許多具有挑戰(zhàn)性的問(wèn)題。

• 大模型需要與現(xiàn)有企業(yè)流程無(wú)縫融合，需要與現(xiàn)有工具或接口有效銜接。
• 大模型需要與員工、專家有效協(xié)同。
• 大模型需要領(lǐng)域知識(shí)注入，以解決幻覺(jué)問(wèn)題。

3、大模型需要具備的能力

研究千行百業(yè)的智能化應(yīng)用，究其本質(zhì)，是一個(gè)復(fù)雜的認(rèn)知決策任務(wù)。在實(shí)際應(yīng)用場(chǎng)景中，我們需要的是機(jī)器的復(fù)雜決策能力，復(fù)雜決策是領(lǐng)域應(yīng)用的根本特點(diǎn)，這絕不是開(kāi)放式閑聊所能解決的問(wèn)題。復(fù)雜決策涉及到許多能力，如豐富的應(yīng)用知識(shí)、復(fù)雜的決策邏輯、宏觀態(tài)勢(shì)的研判能力、綜合任務(wù)的拆解能力、精細(xì)嚴(yán)密的規(guī)劃能力、復(fù)雜約束的取舍能力、未知事物的預(yù)見(jiàn)能力和不確定場(chǎng)景的推斷能力。

4、大模型的問(wèn)題

而在大模型中，尤為重要的也是最迫切需要解決的，是“幻覺(jué)”問(wèn)題，也就是大模型容易胡編亂造一些虛假事實(shí)。這個(gè)問(wèn)題在模型本身是難以解決的，ChatGPT 在很多領(lǐng)域可以“創(chuàng)造答案”，但當(dāng)用戶尋求正確答案時(shí)，ChatGPT 也有可能給出有誤導(dǎo)的回答。GPT4 也無(wú)法完全解決幻覺(jué)問(wèn)題，增大模型規(guī)模和訓(xùn)練量只能一定程度緩解。即使接入搜索引擎，NewBing 仍會(huì)不按材料進(jìn)行回答，這和翻譯、摘要中的觀察一致。

最后，就是大模型缺乏領(lǐng)域“忠實(shí)度”的問(wèn)題。大模型是從通用領(lǐng)域練出來(lái)的，它往往傾向于利用它在底座模型的通用領(lǐng)域?qū)W到的知識(shí)來(lái)回答問(wèn)題，而不忠實(shí)于你給的行業(yè)的知識(shí)，不忠于你給的行業(yè)的文本。

三、場(chǎng)景與應(yīng)用

1、深挖場(chǎng)景

到了 ToB 行業(yè)，究竟我們?cè)撊绾稳グl(fā)展大模型？這需要我們深挖，去挖掘我們的場(chǎng)景和應(yīng)用。

首先大模型應(yīng)當(dāng)是百花齊放的，過(guò)去大家目睹了 OpenAI 在通用大模型的成功，隨后便一起擠在了通用大模型的賽道中，競(jìng)爭(zhēng)尤為激烈。事實(shí)上在許多行業(yè)或領(lǐng)域中，垂類(lèi)大模型的應(yīng)用更值得我們?nèi)ネ诰蚺c研究。從通用大模型，到行業(yè)/領(lǐng)域大模型、場(chǎng)景大模型、科學(xué)/專業(yè)大模型，在很多垂直行業(yè)，需要有很多專業(yè)的科學(xué)大模型才能夠勝任。

其中我尤為關(guān)注的是場(chǎng)景的智能化，我認(rèn)為場(chǎng)景大模型將會(huì)是未來(lái)最可能率先落地的應(yīng)用。因?yàn)橥ㄓ么竽Ｐ鸵呀?jīng)有很強(qiáng)的通識(shí)能力，通識(shí)能力再加上簡(jiǎn)單的崗位培訓(xùn)就能夠勝任的工作，是最容易落地的，比如 HR、客服或窗口辦事員等。這一類(lèi)恰恰是我們可以快速形成有效的解決方案獲得效果的場(chǎng)景。標(biāo)準(zhǔn)化、規(guī)范化、服務(wù)化的工作對(duì)機(jī)器來(lái)說(shuō)是容易實(shí)現(xiàn)的。

另外關(guān)注的還有專業(yè)大模型，除了常常被提起的氣象大模型，醫(yī)學(xué)大模型之外。行業(yè)內(nèi)還有更多的場(chǎng)景和復(fù)雜形態(tài)的數(shù)據(jù)能夠被大模型使用和解決，如代碼代碼、基因、圖、表等，且不同類(lèi)型、結(jié)構(gòu)的數(shù)據(jù)都可以使用預(yù)訓(xùn)練的方式進(jìn)行處理。

2、產(chǎn)品形態(tài)

而談到場(chǎng)景應(yīng)用落地的形態(tài)，具備決策能力的 Agent 將會(huì)是繞不開(kāi)的話題。大模型已經(jīng)成為推動(dòng)自主智能體發(fā)展的重要引擎。由于 LLM 擁有驚人的計(jì)算以及各種復(fù)雜的認(rèn)知能力，能夠處理和理解龐大的數(shù)據(jù)集、更好地感知和理解世界。因而，大模型日益成為自治智能體的大腦。它們的“大腦”特質(zhì)使得它們能夠處理多樣性的信息源，包括文本、圖像、聲音等，從而更全面地理解其周?chē)h(huán)境。

自治智能體能夠利用 LLM 負(fù)責(zé)的能力獨(dú)立地執(zhí)行任務(wù)、做出決策，并在沒(méi)有人為干預(yù)的情況下進(jìn)行學(xué)習(xí)和改進(jìn)。這種自主性使得它們能夠在特定任務(wù)中表現(xiàn)出驚人的靈活性和適應(yīng)性，從而更好地滿足各種需求。

以 Travel Agent 為例，Agent 在決策過(guò)程中需要具備許多能力，如環(huán)境認(rèn)知、場(chǎng)景認(rèn)知、工具使用、運(yùn)籌規(guī)劃、協(xié)同合作、意圖理解、約束規(guī)劃、個(gè)性適配等能力。

另外一個(gè)重要的產(chǎn)品形態(tài)，則是統(tǒng)一智能的企業(yè)的信息門(mén)戶?，F(xiàn)在企業(yè)中往往有著多個(gè)信息系統(tǒng)，如 ERP、OA、代碼庫(kù)、知識(shí)管理平臺(tái)等等，未來(lái)大模型將能夠利用它的通識(shí)能力、任務(wù)分解與規(guī)劃能力，協(xié)調(diào)傳統(tǒng)的 IT 系統(tǒng)（數(shù)據(jù)庫(kù)、知識(shí)庫(kù)等）進(jìn)行協(xié)同工作。

最后一個(gè)值得大家關(guān)注的在于數(shù)據(jù)要素。數(shù)據(jù)要成為資產(chǎn)、進(jìn)行流通和交易，會(huì)涉及到復(fù)雜的數(shù)據(jù)治理問(wèn)題，對(duì)于數(shù)據(jù)庫(kù)中錯(cuò)誤的、違反常識(shí)的數(shù)據(jù)，過(guò)去那種由人力或是規(guī)則來(lái)進(jìn)行處理的方式是難以勝任龐大的數(shù)據(jù)工作的。大模型的通識(shí)理解、常識(shí)理解有助于它進(jìn)行數(shù)據(jù)治理、數(shù)據(jù)評(píng)估、數(shù)據(jù)分級(jí)等工作，使它成為數(shù)據(jù)價(jià)值變現(xiàn)的重要方式。

四、成本與價(jià)值

1、大模型的成本

過(guò)去我們已經(jīng)發(fā)現(xiàn)，不計(jì)成本的研發(fā)大模型，肯定是走不通的。而大模型能為我們節(jié)約許多成本。首先是人力的成本，過(guò)去傳統(tǒng)特征工程中，要靠專家來(lái)進(jìn)行特征標(biāo)注的工作，現(xiàn)在大模型以簡(jiǎn)單的提示詞就可以辦到。

但大模型本身也帶來(lái)了巨大的成本。大模型成本=訓(xùn)練成本+應(yīng)用成本，需要引起重視，仍然不可忽視。GPT4 規(guī)模的大模型單次煉制成本接近 6300 萬(wàn)美金，絕大部分的企業(yè)都沒(méi)辦法承受這份花銷(xiāo)。另外，高頻應(yīng)用有可能帶來(lái)難以接受的應(yīng)用成本，隨著使用需求的增加，調(diào)用API的花費(fèi)也是不容小覷的。

2、降本方法

要想控制好成本，一定要靠大小模型協(xié)同，這是降低應(yīng)用成本的有效方法。對(duì)于絕大多數(shù)簡(jiǎn)單例子（80-20 法則），傳統(tǒng)的 BERT 模型就可解決，其應(yīng)用成本可忽略不計(jì)。假若遇到需要一定常識(shí)理解、復(fù)雜推理的樣本，才需要交由大模型完成。并且，小模型的作用絕不僅僅是降低成本，大模型與小模型可以互相補(bǔ)充，各取所長(zhǎng)。在可解釋性、可控性、推理速度上，小模型都是優(yōu)于大模型的。

降低成本的另外一個(gè)思路是提升大模型與知識(shí)圖譜的協(xié)同能力。在過(guò)去十年里，很多行業(yè)已經(jīng)建立起了很多規(guī)模和質(zhì)量都不錯(cuò)的知識(shí)圖譜。大模型可以將其利用起來(lái)，主要有三個(gè)思路：

• 提示階段，用知識(shí)來(lái)指引來(lái)讓它提示得更加專業(yè)。
• 生成階段，用知識(shí)增強(qiáng)的檢索來(lái)提升它生成的效果。
• 事后驗(yàn)證，用知識(shí)庫(kù)的知識(shí)來(lái)驗(yàn)證它的生成結(jié)果，避免“幻覺(jué)”的出現(xiàn)。

大模型的小型化也是降低大模型應(yīng)用成本的有效思路之一，是大模型普及應(yīng)用的重要趨勢(shì)之一。借助人類(lèi)大腦功能分區(qū)理論對(duì)大模型的功能集約性開(kāi)展研究是根本，小型化能夠幫助大模型在手機(jī)端等設(shè)備上的部署。

大模型的時(shí)效性也十分需要重視，時(shí)效性是發(fā)展大模型的核心競(jìng)爭(zhēng)力之一。如金融數(shù)據(jù)這類(lèi)場(chǎng)景，如果做不到實(shí)時(shí)數(shù)據(jù)的獲取與分析，其金融的決策是沒(méi)有意義的。保證時(shí)效性的隱性方法包括知識(shí)編輯和持續(xù)學(xué)習(xí)，顯性方法包括記憶增強(qiáng)、檢索增強(qiáng)和接入互聯(lián)網(wǎng)增強(qiáng)。

五、對(duì)策與路徑

• 建立訓(xùn)練數(shù)據(jù)的分類(lèi)體系
  擺脫“煉丹”的工作流程，思考訓(xùn)練過(guò)程背后不同的數(shù)據(jù)和參數(shù)對(duì)應(yīng)的模型能力。掌握大模型煉制工藝的關(guān)鍵參數(shù)及其對(duì)大模型效果的評(píng)價(jià)體系是模型訓(xùn)練的關(guān)鍵。清楚什么樣的數(shù)據(jù)決定怎樣的能力？建立數(shù)據(jù)特性與模型能力之間的因果關(guān)系尤為關(guān)鍵。
  

• 人類(lèi)認(rèn)知發(fā)展理論對(duì)大模型煉制的借鑒意義
  大模型的發(fā)展是能被人類(lèi)認(rèn)知發(fā)展理論指引的，兒童的認(rèn)知能力存在一個(gè)持續(xù)發(fā)展的過(guò)程，對(duì)大模型煉制存在指導(dǎo)意義。大模型在短短幾個(gè)月內(nèi)就發(fā)展出了 Attention（注意力）、Desire（欲望）、Belief（信念）。基于 Theory of Mind (TOM, 認(rèn)知發(fā)展理論)，將人類(lèi)與大模型的認(rèn)知發(fā)展進(jìn)行對(duì)比研究是將大模型從煉金術(shù)發(fā)展為科學(xué)的重要思路之一。
  

• 行業(yè)大模型訓(xùn)練數(shù)據(jù)的選擇
  在進(jìn)行行業(yè)大模型微調(diào)的時(shí)候，行業(yè)數(shù)據(jù)的選擇也是一個(gè)重要的問(wèn)題。過(guò)于通識(shí)的數(shù)據(jù)顯然沒(méi)有價(jià)值，而過(guò)于細(xì)節(jié)的數(shù)據(jù)也沒(méi)有必要。其中只有行業(yè)特有的、反常識(shí)的、高覆蓋的、形式多樣的數(shù)據(jù)值得被選擇和訓(xùn)練。
  

• 基礎(chǔ)模型 + 優(yōu)質(zhì)指令 = 技術(shù)價(jià)值
  基礎(chǔ)模型能力決定了系統(tǒng)的天花板，而指令質(zhì)量決定了系統(tǒng)的底線。指令數(shù)據(jù)可以讓大模型學(xué)習(xí)解決復(fù)雜的任務(wù)。優(yōu)質(zhì)的指令數(shù)據(jù)，可以放大模型的效果；相反，劣質(zhì)的指令數(shù)據(jù)則會(huì)損害大模型的效果。底座模型和指令數(shù)據(jù)是相輔相成的。重底座、輕指令，重指令、輕底座，均不可取。
  

• 提升中文大模型的多模態(tài)、跨模態(tài)認(rèn)知能力
  大模型是認(rèn)知文字、圖片、表格、聲音等多種模態(tài)的統(tǒng)一模型，它可以完成以往難以完成的各種跨模態(tài)的開(kāi)放式聯(lián)合推理。著重研究大模型在多模態(tài)上的能力能夠?yàn)槲磥?lái)大模型的應(yīng)用帶來(lái)很多實(shí)用的功能。
  

• 面向領(lǐng)域的評(píng)測(cè)—以日志運(yùn)維為例
  以運(yùn)維數(shù)據(jù)為例，運(yùn)維領(lǐng)域日志數(shù)據(jù)稀缺，公開(kāi)數(shù)據(jù)集任務(wù)簡(jiǎn)單，大模型缺乏對(duì)日志語(yǔ)言自身特點(diǎn)的考慮，而它構(gòu)建的前提是有效的評(píng)測(cè)與評(píng)估。因此對(duì)于特定領(lǐng)域，開(kāi)發(fā)對(duì)應(yīng)的 benchmark 作為評(píng)估標(biāo)準(zhǔn)尤為重要。
  

• 面向知識(shí)的評(píng)測(cè)
  建立大模型在專業(yè)知識(shí)上的能力，目前也出現(xiàn)了諸如 DomMa，Xiezhi(獬豸)-Benchmark 等專業(yè)知識(shí)的評(píng)估標(biāo)準(zhǔn)，用于從診斷與應(yīng)用兩個(gè)角度，對(duì)大模型展開(kāi)基于認(rèn)知心理學(xué)、多學(xué)科、多維度的評(píng)測(cè)。我們要盡快建立面向解決問(wèn)題能力的評(píng)測(cè)體系，要引導(dǎo)大模型從現(xiàn)在的“高分低能”發(fā)展到“高分高能”。
  

• 面向能力的評(píng)測(cè)——以復(fù)雜指令理解為例
  除了知識(shí)以外，大模型解決問(wèn)題的能力也尤為重要。國(guó)產(chǎn)的很多大模型在各種榜單中都取得不錯(cuò)的成績(jī)，但在解決實(shí)際復(fù)雜問(wèn)題時(shí)往往乏力。往往真正的用戶指令都是復(fù)雜的，里面混雜了很多任務(wù)、形式和約束，理解并解決復(fù)雜指令是國(guó)產(chǎn)大模型更應(yīng)該重視的方面。
  

• 智能的整體性評(píng)測(cè)-智商測(cè)試
  我們還需要重視綜合能力的評(píng)測(cè)，比如智商。目前大模型各種能力的評(píng)測(cè)難以從整體上反映大模型智力水平，因此我們需要使用常識(shí)和反常識(shí)的智力游戲進(jìn)行智商測(cè)試。
  

• 智能的整體性評(píng)測(cè)-情商測(cè)試
  除了智商之外，情商也同樣重要。目前大模型各種能力的評(píng)測(cè)難以從整體上反映大模型的情感能力，使用共情對(duì)話進(jìn)行情商測(cè)試。學(xué)會(huì)理解用戶指令背后的情緒，提供更優(yōu)質(zhì)的使用體驗(yàn)，才有機(jī)會(huì)體現(xiàn)產(chǎn)品的商業(yè)價(jià)值。
  

• 重視并加強(qiáng)大模型訓(xùn)練數(shù)據(jù)的治理
  從整體上來(lái)看，大模型的工作 80% 以上都是數(shù)據(jù)的工作，因此，出于安全和效用的考慮，做好數(shù)據(jù)治理非常關(guān)鍵。
  

• 注重領(lǐng)域特異的自監(jiān)督任務(wù)設(shè)計(jì)
  在訓(xùn)練過(guò)程中，任務(wù)的設(shè)計(jì)也是值得重視的。面向領(lǐng)域定制預(yù)訓(xùn)練任務(wù)能夠提升模型的理解能力，以旅行搜索為例，在解決路線規(guī)劃任務(wù)中，參考文本的 next token 預(yù)測(cè)任務(wù)進(jìn)行設(shè)計(jì)顯然不符合POI數(shù)據(jù)的結(jié)構(gòu)，將任務(wù)切換為 nearbyPOI 預(yù)測(cè)更能提升模型的理解能力。
  

• 注重領(lǐng)域知識(shí)增強(qiáng)預(yù)訓(xùn)練
  預(yù)訓(xùn)練模型缺乏領(lǐng)域知識(shí)，通過(guò)領(lǐng)域知識(shí)能夠提升模型表現(xiàn)。在訓(xùn)練過(guò)程中要想把領(lǐng)域知識(shí)給注入進(jìn)去，可以通過(guò)自監(jiān)督的任務(wù)設(shè)計(jì)，將領(lǐng)域知識(shí)中例如詞匯表、術(shù)語(yǔ)表達(dá)等知識(shí)的習(xí)得設(shè)計(jì)為學(xué)習(xí)任務(wù)。
  

• 進(jìn)一步提升大模型的認(rèn)知能力
  大模型的各項(xiàng)能力都需要在未來(lái)進(jìn)行進(jìn)一步的提升，因此要持續(xù)提升大模型在解決領(lǐng)域?qū)嶋H問(wèn)題時(shí)所需的認(rèn)知能力，如長(zhǎng)文本處理、長(zhǎng)短期記憶、復(fù)雜數(shù)量推理等等。
  

• 提升大模型的約束規(guī)劃能力
  大模型要想在特定的場(chǎng)景中發(fā)揮作用，其約束規(guī)劃能力尤為重要。讓大模型能夠理解指令中給到的約束條件，規(guī)避被約束的行為并產(chǎn)生合理的規(guī)劃是大模型 Agent 落地的關(guān)鍵。
  

• 提升大模型數(shù)量推理能力和增強(qiáng)量綱與數(shù)值認(rèn)知
  今天的大模型在數(shù)值理解和數(shù)量理解方面仍然容易出錯(cuò)。如果這個(gè)問(wèn)題不解決，對(duì)數(shù)據(jù)量級(jí)敏感的行業(yè)例如金融、醫(yī)療等行業(yè)，是沒(méi)辦法使用它的。當(dāng)下學(xué)界、業(yè)界都在研發(fā)中通過(guò)加入數(shù)據(jù)庫(kù)、知識(shí)庫(kù)等辦法來(lái)緩解大模型短缺的數(shù)量理解能力帶來(lái)的問(wèn)題。
  

• 提升大模型的否定判定與生成能力
  大模型的邏輯能力同樣也是欠缺的，它對(duì)否定、與、或等邏輯判斷與生成的能力是有待提升的?，F(xiàn)有研究表明大模型在上下文豐富的場(chǎng)景，具備一定否定判斷與生成能力，但在上下文稀缺、任務(wù)復(fù)雜時(shí)能力仍然有限。
  

• 根據(jù)專家反饋靈敏調(diào)整大模型生成結(jié)果
  大模型能否根據(jù)專家反饋及時(shí)調(diào)整結(jié)果是行業(yè)落地的關(guān)鍵問(wèn)題之一。在運(yùn)行環(huán)境中，讓大模型根據(jù)反饋來(lái)調(diào)整生成結(jié)果，杜絕大模型“死鴨子嘴硬”（不肯悔改）以及“墻頭草”（無(wú)主見(jiàn)）兩類(lèi)極端錯(cuò)誤。
  

• 基于大模型的行業(yè)智能化演進(jìn)路徑
  大模型的演變過(guò)程還很漫長(zhǎng)，目前我們已經(jīng)走過(guò)了通識(shí)的階段，到了第二階段，也就是訓(xùn)練專業(yè)大模型，未來(lái)還需要探索如何使用工具，從實(shí)踐中得到反饋，最終才能夠成為真正的行業(yè)專家。

六、總結(jié)

在大模型這個(gè)行業(yè)里面，我們需要合理定位、正確認(rèn)識(shí)，場(chǎng)景多元，積極開(kāi)辟新賽道，重視大模型的成本與價(jià)值，促進(jìn)大模型與千行百業(yè)的深度融合。大模型不能只是煉金術(shù)，要成為科學(xué)才能持續(xù)發(fā)展；大模型背后的“人”學(xué)研究是關(guān)鍵。