8月12日，天津大學(xué)和信創(chuàng)海河實(shí)驗(yàn)室舉辦“大模型技術(shù)與評(píng)測(cè)研討會(huì)”，會(huì)上天津大學(xué)發(fā)布首份《大模型評(píng)測(cè)報(bào)告》，對(duì)國(guó)內(nèi)外主流的14個(gè)大語(yǔ)言模型進(jìn)行中文綜合能力評(píng)測(cè)，結(jié)果顯示，GPT-4和百度文心一言相較于其他模型綜合性能顯著領(lǐng)先，兩者得分相差不大，處于同一水平。隨著中國(guó)大模型的蓬勃發(fā)展，國(guó)產(chǎn)大模型中文心一言已經(jīng)在大部分中文任務(wù)中實(shí)現(xiàn)了對(duì)ChatGPT的超越，并逐步縮小與GPT-4的差距，中美大模型正在形成兩強(qiáng)領(lǐng)跑的格局。

尤其值得關(guān)注的是，在此次評(píng)測(cè)中，天津大學(xué)引入GPT-4對(duì)參評(píng)模型的主觀題回答進(jìn)行了打分，結(jié)果顯示，在GPT-4看來(lái)文心一言生成的中文內(nèi)容質(zhì)量更高。相比人工評(píng)價(jià)，在基于GPT-4的自動(dòng)評(píng)測(cè)中，文心一言的總得分一舉超過(guò)GPT-4，躍居榜首。

天津機(jī)器學(xué)習(xí)重點(diǎn)實(shí)驗(yàn)室負(fù)責(zé)人、天津大學(xué)胡清華教授表示，“基礎(chǔ)智能模型有望重塑人工智能的發(fā)展模式，國(guó)內(nèi)外大模型如雨后春筍般大量涌現(xiàn)。全面準(zhǔn)確評(píng)價(jià)此類(lèi)模型是推動(dòng)和規(guī)范其健康發(fā)展的基礎(chǔ)，為使用者在選擇和應(yīng)用大模型時(shí)提供參考?？梢钥吹?，百度文心一言在評(píng)測(cè)中展現(xiàn)了國(guó)產(chǎn)大模型的強(qiáng)大實(shí)力，中國(guó)的大語(yǔ)言模型在短期內(nèi)取得巨大發(fā)展，正在逐步趕超國(guó)際類(lèi)似的模型，甚至在某些指標(biāo)上實(shí)現(xiàn)了局部超越。未來(lái)，期待國(guó)產(chǎn)大模型能夠取得更大突破，可以賦能社會(huì)經(jīng)濟(jì)發(fā)展，助力我國(guó)科技高質(zhì)量自立自強(qiáng)?！?/span>

據(jù)了解，參與本次評(píng)測(cè)的大模型包括GPT-4、ChatGPT gpt-3.5-turbo、Claude-instant、Sage gpt-3.5-turbo等國(guó)外大模型，以及百度文心一言、阿里通義千問(wèn)、訊飛星火認(rèn)知大模型、ChatGLM-6B、360智腦、MOSS-16B、MiniMax、baichuan-7B等國(guó)產(chǎn)大模型。評(píng)測(cè)使用一套涵蓋知識(shí)問(wèn)答、語(yǔ)言表達(dá)、邏輯推理、常識(shí)問(wèn)答、文本問(wèn)答、機(jī)器翻譯等不同領(lǐng)域知識(shí)、包含多種題型的中文綜合性試題，通過(guò)多維度得分結(jié)果，清楚了解不同模型的擅長(zhǎng)領(lǐng)域和綜合能力優(yōu)劣。

結(jié)果顯示，國(guó)產(chǎn)大模型以文心一言為代表，在知識(shí)問(wèn)答、語(yǔ)言表達(dá)、邏輯推理、常識(shí)問(wèn)答等方面表現(xiàn)出色。相比其他國(guó)產(chǎn)大模型，文心一言更具優(yōu)勢(shì)，展示了更強(qiáng)大的綜合能力。尤其在中文語(yǔ)言表達(dá)上，文心一言相比GPT-4和其他國(guó)內(nèi)大語(yǔ)言模型明顯更優(yōu)質(zhì)。此外，本次評(píng)測(cè)中，文心一言在計(jì)算機(jī)、醫(yī)學(xué)、法律和教育等領(lǐng)域的得分率高，為大語(yǔ)言模型在相關(guān)行業(yè)的落地提供了技術(shù)基礎(chǔ)。

近期，國(guó)內(nèi)外多家調(diào)研機(jī)構(gòu)、權(quán)威媒體和高校等發(fā)布大模型評(píng)測(cè)報(bào)告，從結(jié)果來(lái)看，文心大模型3.5版支持下的文心一言中文能力突出，甚至有超出GPT-4的表現(xiàn)；綜合能力在評(píng)測(cè)中超過(guò)ChatGPT，領(lǐng)先于其他大模型，穩(wěn)居國(guó)內(nèi)第一。有專(zhuān)家指出，大模型正在進(jìn)入規(guī)?？蓮?fù)制的產(chǎn)業(yè)落地階段，在關(guān)注大模型評(píng)測(cè)的同時(shí)，更要關(guān)注大模型的落地生態(tài)。百度文心在大模型生態(tài)的構(gòu)建上具備先發(fā)優(yōu)勢(shì)。

公開(kāi)資料顯示，目前有15萬(wàn)家企業(yè)申請(qǐng)接入文心一言測(cè)試。最新數(shù)據(jù)顯示，百度有超過(guò)750萬(wàn)開(kāi)發(fā)者基礎(chǔ)，20萬(wàn)企業(yè)生態(tài)基礎(chǔ)，多層次開(kāi)展大模型人才培訓(xùn)、企業(yè)賦能、開(kāi)發(fā)者運(yùn)營(yíng)。百度還設(shè)立10億創(chuàng)投基金鼓勵(lì)大模型創(chuàng)意、繁榮大模型生態(tài)，不到1個(gè)月時(shí)間吸引近1000個(gè)項(xiàng)目參與角逐，參賽團(tuán)隊(duì)表示，百度打響了中國(guó)大模型的第一槍?zhuān)俣仍谫Y金、技術(shù)、業(yè)務(wù)等方面的全面扶持，大幅降低了大模型行業(yè)的入局門(mén)檻，為大模型應(yīng)用創(chuàng)業(yè)團(tuán)隊(duì)注入了強(qiáng)勁動(dòng)力和信心。