?作者 | 徐杰承

2月7日，百度官方公眾號發(fā)布了一條極為簡短的通告——《官宣：文心一言》。據(jù)了解，文心一言正是百度內(nèi)部所研發(fā)的類ChatGPT聊天機器人，其英文名稱則為ERNIE Bot。

據(jù)百度內(nèi)部人員表示：文心一言由基于百度提出的知識增強大模型（Ernie）擴展而成的一系列高級大模型構(gòu)成，可以執(zhí)行廣泛的任務(wù)，包括語言理解、語言生成(ERNIE 3.0 Titan)以及根據(jù)文本生成圖像(ERNIE-ViLG)等。與其他語言模型相比，文心一言能夠?qū)V泛的知識與海量數(shù)據(jù)相結(jié)合，從而產(chǎn)生非凡的理解與生成能力。公司計劃在3月完成文心一言的內(nèi)部測試，然后向公眾正式開放使用。

雖然對于文心一言的實際表現(xiàn)我們暫且不得而知，但通過百度此前所發(fā)布的名為《ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation》的論文，目前我們可以大致了解到一些有關(guān)其所應(yīng)用的語言模型ERNIE 3.0 Titan的相關(guān)信息。

據(jù)論文顯示：ERNIE 3.0 Titan是百度于PaddlePaddle平臺上所訓(xùn)練的千億參數(shù)模型，其中包含多達2600億個參數(shù)（ChatGPT使用1750億參數(shù)的GPT3.5模型）。此外，百度還設(shè)計了一個自我監(jiān)督的對抗性損失和一個可控的語言建模損失，使ERNIE 3.0 Titan生成可信和可控的文本。

為了減少計算開銷和碳排放，百度還為ERNIE 3.0 Titan提出了一個在線蒸餾框架，其中教師模型將同時教授學(xué)生和訓(xùn)練自己。ERNIE 3.0Titan是迄今為止最大的中國密集預(yù)訓(xùn)模型。相關(guān)實驗結(jié)果表明，ERNIE 3.0 Titan在68個NLP數(shù)據(jù)集上的性能已優(yōu)于現(xiàn)階段最先進的語言模型，包括ChatGPT所應(yīng)用的GPT3.5模型。

ERNIE 3.0 Titan模型架構(gòu)圖

據(jù)悉，目前文心一言已進入上線前的最接沖刺階段，而相關(guān)消息的曝出，也使百度港股一度暴漲超17%，市值增長約700億港元。據(jù)部分業(yè)內(nèi)人士推測，百度文心一言項目或早在2022年9月便已啟動研發(fā)，彼時百度CEO李彥宏在世界人工智能大會上就曾表示：無論在技術(shù)層面還是商業(yè)應(yīng)用層面，人工智能都有了巨大的進展，有些甚至是方向性的改變。

考慮到目前由ChatGPT所帶來的生成式AI的火爆，未來覬覦這一領(lǐng)域市場的國內(nèi)企業(yè)，勢必不止百度一家。就市場角度而言，目前類ChatGPT聊天機器人最明顯的價值與落地場景，正是百度主營的搜索業(yè)務(wù)。如此看來，如果下一次科技革命真的爆發(fā)在該領(lǐng)域，那么百度無疑已拔得頭籌。此外，不少業(yè)內(nèi)人士認為，考慮到谷歌和微軟的推進節(jié)奏，文心一言開放內(nèi)測的進度還有可能繼續(xù)提前。