MoE（混合專(zhuān)家）模型最近有多火，不用過(guò)多介紹了吧？

作為當(dāng)下最頂尖、最前沿的大模型技術(shù)方向，MoE能在不增加推理成本的前提下，為大模型帶來(lái)性能激增。比如，在MoE的加持之下，GPT-4帶來(lái)的用戶(hù)體驗(yàn)較之GPT-3.5有著革命性的飛升。

但普通用戶(hù)想要體驗(yàn)MoE的神奇魅力，必須每個(gè)月交20美元申請(qǐng)賬號(hào)。

那么……有沒(méi)有免費(fèi)的MoE讓我用用呢？

有！

超級(jí)無(wú)門(mén)檻、人人免費(fèi)玩的MoE大模型來(lái)了！

昆侖萬(wàn)維剛剛發(fā)布最新發(fā)布的天工2.0大模型，在千億參數(shù)規(guī)?；A(chǔ)上采用和GPT-4同款的MoE混合專(zhuān)家結(jié)構(gòu)，具備強(qiáng)大多模態(tài)能力，支持最高100K超長(zhǎng)上下文窗口（超過(guò)15萬(wàn)個(gè)漢字），應(yīng)對(duì)復(fù)雜任務(wù)的能力更強(qiáng)，模型響應(yīng)速度更快。

搭載天工2.0大模型的新版天工AI智能助手APP，現(xiàn)在就能在手機(jī)應(yīng)用商店免費(fèi)下載使用。

由此，天工AI智能助手也成為國(guó)內(nèi)首個(gè)搭載MoE架構(gòu)并面向全體C端用戶(hù)免費(fèi)開(kāi)放的AI應(yīng)用。

先來(lái)看看效果：

上傳Excel，即可一鍵分析數(shù)據(jù)，并制作圖表。

女朋友生氣了不好哄，它也能幫你想到話(huà)術(shù)，還會(huì)提醒注意事項(xiàng)。

而且還會(huì)分析面相？AI奇怪の技能點(diǎn)增加了……

采用GPT-4同款架構(gòu)

天工AI智能助手的升級(jí)，關(guān)鍵來(lái)自最新升級(jí)的天工2.0大模型。

它采用MoE（專(zhuān)家混合模型）架構(gòu)，是GPT-4的同款，也被認(rèn)為是GPT-4能力飛升的關(guān)鍵。

MoE是一個(gè)并行的前饋神經(jīng)網(wǎng)絡(luò)，主要由門(mén)控模型/路由器（Gating Model/Router）和一組專(zhuān)家模型（Experts Models）構(gòu)成，當(dāng)數(shù)據(jù)輸入門(mén)控模型/路由器時(shí)，系統(tǒng)會(huì)根據(jù)任務(wù)類(lèi)型將每個(gè)token分配給一個(gè)或多個(gè)專(zhuān)家模型，讓每個(gè)專(zhuān)家模型可以專(zhuān)注于處理該部分?jǐn)?shù)據(jù)，從而提升模型整體性能。

△MoE架構(gòu)示例（LIMoE）

業(yè)界猜測(cè)GPT-4可能包含1.76萬(wàn)億個(gè)參數(shù)，包含16個(gè)專(zhuān)家模型，每個(gè)模型大約有1110億個(gè)參數(shù)。其中可能有Python專(zhuān)家、高級(jí)圖像解析專(zhuān)家、事實(shí)核查專(zhuān)家、安全和道德專(zhuān)家、情緒分析專(zhuān)家等。

這種精確的專(zhuān)家模型選擇和分工機(jī)制，讓大模型理解能力、靈活性、準(zhǔn)確性、安全性都大幅提升，由此也成為最近一段時(shí)間以來(lái)幾乎最熱門(mén)的大模型趨勢(shì)，國(guó)內(nèi)外大模型玩家都在紛紛跟進(jìn)。

最新升級(jí)的天工大模型2.0也是采用了MoE架構(gòu)。帶來(lái)的主要提升有三方面：

• 應(yīng)對(duì)復(fù)雜任務(wù)能力更強(qiáng)
• 速度更快、效率更高
• 靈活多樣，可擴(kuò)展性更強(qiáng)

應(yīng)對(duì)復(fù)雜任務(wù)方面，天工2.0集成的多個(gè)專(zhuān)家模型都能夠針對(duì)不同的數(shù)據(jù)分布和構(gòu)建模式進(jìn)行搭建，提升大模型在各個(gè)細(xì)分領(lǐng)域的專(zhuān)業(yè)能力，然后再進(jìn)一步整合各個(gè)專(zhuān)家模型的輸出結(jié)果，從而顯著提升復(fù)雜任務(wù)、多模態(tài)任務(wù)方面的表現(xiàn)。

同時(shí)，得益于MoE架構(gòu)稀疏化的特點(diǎn)，模型在每次回答問(wèn)題時(shí)只需激活對(duì)應(yīng)部分的網(wǎng)絡(luò)，相較于同等參數(shù)規(guī)模的稠密模型，計(jì)算效率更高。

天工2.0呈現(xiàn)出的高稀疏性特點(diǎn)，使其能更快速響應(yīng)用戶(hù)。

在靈活性方面，稀疏化模型使得天工2.0能夠在不增加計(jì)算量的前提下顯著擴(kuò)展模型規(guī)模，在同等計(jì)算資源下獲得更強(qiáng)性能。并通過(guò)增加專(zhuān)家模型數(shù)量、調(diào)整專(zhuān)家模型的權(quán)重配比，天工2.0能夠極大豐富模型的可擴(kuò)展性。

而除了最新發(fā)布的千億級(jí)天工2.0以外，在過(guò)去半年多時(shí)間里，天工還推出了百億級(jí)開(kāi)源大模型“天工Skywork-13B”、AI Agent開(kāi)發(fā)平臺(tái)“天工SkyAgents”、多模態(tài)大語(yǔ)言模型“天工Skywork-MM”等。

這些模型能力，如今在最新版天工AI智能助手上都有體現(xiàn)。主要包括：

• 多模態(tài)能力
• 超長(zhǎng)上下文
• 準(zhǔn)確理解關(guān)鍵詞語(yǔ)義

多模態(tài)方面，天工AI智能助手新增了圖文對(duì)話(huà)能力，能更好理解視覺(jué)素材，進(jìn)行圖文對(duì)話(huà)、圖文創(chuàng)作等任務(wù)，并且提升了圖像生成質(zhì)量。

同時(shí)還能生成圖文并茂的回答內(nèi)容。

去年9月天工多模態(tài)大模型Sky-MMv1發(fā)布。

它由一個(gè)視覺(jué)編碼器、一個(gè)可學(xué)習(xí)采樣器模塊和一個(gè)經(jīng)LoRA調(diào)優(yōu)后的大語(yǔ)言模型組成。通過(guò)自研Mental Notes技術(shù)，模擬人類(lèi)認(rèn)知過(guò)程，天工多模態(tài)大模型顯著降低“幻覺(jué)”問(wèn)題，增強(qiáng)中文指令追隨能力、中文相關(guān)場(chǎng)景的識(shí)別能力，降低了文化偏見(jiàn)對(duì)于多模態(tài)理解造成的限制。

超長(zhǎng)上下文方面，天工AI智能助手現(xiàn)在可支持100K上下文（超過(guò)15萬(wàn)漢字），通過(guò)擴(kuò)展技術(shù)可支持200K超長(zhǎng)文檔理解。

在InfiniteBench評(píng)測(cè)中，天工系列大模型10項(xiàng)指標(biāo)平均分47.5分，超過(guò)Claude2，接近GPT-4 128k的52.6分。

在針對(duì)超長(zhǎng)上下文的“大海撈針”測(cè)試中，天工大模型的正確率可以達(dá)到100%。

這項(xiàng)測(cè)試通過(guò)在海量文檔集中插入特定信息，然后對(duì)文檔集進(jìn)行提問(wèn)，測(cè)試模型能否從中找到正確的關(guān)鍵信息，以此可以驗(yàn)證其長(zhǎng)下文信息提取能力。

下圖是天工大模型在“大海撈針”測(cè)試中的實(shí)驗(yàn)結(jié)果，橫軸表示token長(zhǎng)度，縱軸表示埋入信息在文檔中的深度，天工大模型達(dá)到了100%正確率。

最后，天工AI智能助手還具備聯(lián)網(wǎng)智能搜索能力，這部分同樣調(diào)用了大模型作為底層基礎(chǔ)技術(shù)。

據(jù)了解，天工AI搜索在設(shè)計(jì)之初就在數(shù)據(jù)集與索引環(huán)節(jié)引入了大模型技術(shù)，能對(duì)互聯(lián)網(wǎng)上的海量?jī)?nèi)容進(jìn)行識(shí)別和篩選，屏蔽虛假?gòu)V告內(nèi)容，初步清洗出較為純凈、高質(zhì)量的搜索結(jié)果。

△結(jié)果首先參考了央視網(wǎng)的鏈接

并且利用大模型來(lái)對(duì)用戶(hù)搜索指令做Query改寫(xiě)，深入挖掘用戶(hù)真實(shí)意圖。

在搜索引擎核心的召回（Match）和排序（Rank）技術(shù)上，大模型能夠模仿人類(lèi)的識(shí)別判斷能力，判斷搜索指令（Query）和被搜索文檔（Doc）是否具有相關(guān)性，并將這些匹配好的相關(guān)性樣本當(dāng)做“教科書(shū)案例”讓搜索引擎學(xué)習(xí)，提升搜索引擎性能的同時(shí)實(shí)現(xiàn)模型側(cè)的端到端迭代。

比如很多時(shí)候用戶(hù)搜索時(shí)都只給出零星的信息，需要大模型對(duì)關(guān)鍵字有更好的理解力。

通過(guò)引入檢索增強(qiáng)技術(shù)（RAG），還能顯著提高大模型的回答質(zhì)量，并為答案提供可解釋性，避免“胡言亂語(yǔ)”的傾向。

RAG的技術(shù)路徑為：用戶(hù)提問(wèn)——在數(shù)據(jù)庫(kù)中檢索相關(guān)答案——系統(tǒng)將用戶(hù)的提問(wèn)及檢索出的相關(guān)答案一起合成Prompt——將Prompt提交給大模型——大模型返回提問(wèn)結(jié)果。

在如上一系列技術(shù)的加持下，天工AI智能助手也上線(xiàn)了一大波新功能。比如數(shù)據(jù)分析、熱梗百科、圖文對(duì)話(huà)等。

具體效果究竟如何？我們也來(lái)上手體驗(yàn)了一把~

AI都懂科目三是啥了

新版天工AI智能助手新增了五項(xiàng)能力：

• 熱梗百科
• 數(shù)據(jù)分析
• 圖文對(duì)話(huà)
• 伴侶小華
• 星座運(yùn)勢(shì)

它們之中很多都具備多模態(tài)能力。比如圖文對(duì)話(huà)里，可以上傳一張照片讓AI作詩(shī)。

它不僅能把握照片中的重點(diǎn)，如河流、高樓、車(chē)輛等，還把霧霾美化成了仙境白霧。

新增的數(shù)據(jù)分析功能，同樣具備多模態(tài)能力。

只需上傳相應(yīng)文檔，給出指示，它就能快速繪制出對(duì)應(yīng)圖表。

回答一些網(wǎng)絡(luò)熱梗時(shí)，天工AI智能助手也能夠圖文并茂。

比如提問(wèn)“科目三是啥？”

模型能夠準(zhǔn)確闡述這個(gè)梗的來(lái)龍去脈，最后還會(huì)附上視頻鏈接。

值得一提的是，AI面對(duì)相似的問(wèn)題，回答也都很有針對(duì)性。

比如都是劉德華《恭喜發(fā)財(cái)》衍生出來(lái)的網(wǎng)絡(luò)用語(yǔ)，但是給出的回答很明確區(qū)分了它們的淵源。

除了以上新增能力，天工AI智能助手在AI畫(huà)畫(huà)方面，提升了對(duì)提示詞的理解力、畫(huà)面細(xì)節(jié)等。

這不，馬上就要過(guò)年了，在家無(wú)聊的話(huà)，天工AI智能助手里還有個(gè)“賺大錢(qián)”的機(jī)會(huì)！

從2月8日開(kāi)始，天工AI智能助手還將開(kāi)啟“巧繪龍年”AI繪畫(huà)大賽。

只要使用APP內(nèi)“AI繪畫(huà)”功能繪制圖畫(huà)作品并投稿至活動(dòng)專(zhuān)區(qū)，即可有機(jī)會(huì)獲得最高10萬(wàn)元人民幣的現(xiàn)金大獎(jiǎng)。

如何參賽？

在應(yīng)用市場(chǎng)內(nèi)搜索“天工”、點(diǎn)擊下載即可~

AGI讓每個(gè)人能更好表達(dá)自我

毫無(wú)疑問(wèn)，昆侖萬(wàn)維是國(guó)產(chǎn)大模型的一匹黑馬。

早在去年4月，昆侖萬(wàn)維就發(fā)布了雙千億級(jí)大語(yǔ)言模型“天工”的1.0版本（黑馬入局！昆侖萬(wàn)維版ChatGPT「天工」通過(guò)自家程序員面試，首發(fā)就敢現(xiàn)場(chǎng)演示）。去年8月，昆侖萬(wàn)維更是推出了國(guó)內(nèi)第一款搭載大模型能力的AI搜索（國(guó)內(nèi)第一款A(yù)I搜索來(lái)了！首發(fā)實(shí)測(cè)：0廣告支持多輪追問(wèn)，搜索結(jié)果自動(dòng)總結(jié)成文）。

而在更早的2020年，昆侖萬(wàn)維便已入局大模型賽道，累計(jì)已投入數(shù)億元人民幣研發(fā)。2022年，昆侖萬(wàn)維在發(fā)布AIGC全系列算法模型的同時(shí)，就開(kāi)源了百億級(jí)參數(shù)模型，積累了廣泛的開(kāi)發(fā)者好評(píng)與社區(qū)共創(chuàng)。

除了“天工1.0”雙千億級(jí)大模型、“天工2.0”MoE大模型外，昆侖萬(wàn)維還圍繞“天工”系列推出了百億級(jí)開(kāi)源大語(yǔ)言模型系列“天工Skywork-13B”、AI Agent開(kāi)發(fā)平臺(tái)“天工SkyAgents”、多模態(tài)大語(yǔ)言模型“天工Skywork-MM”等前沿AI產(chǎn)品，并已逐步構(gòu)建起AI大模型、AI搜索、AI音樂(lè)、AI Story、AI游戲等AI業(yè)務(wù)矩陣，是國(guó)內(nèi)模型技術(shù)與工程能力最強(qiáng)、布局最全面的人工智能大模型企業(yè)之一。

無(wú)論是“天工2.0”與新版“天工AI智能助手”作為國(guó)內(nèi)首個(gè)搭載MoE架構(gòu)并面向全體C端用戶(hù)免費(fèi)開(kāi)放的AI應(yīng)用的推出，還是以上種種前沿大模型AI產(chǎn)品的開(kāi)放，其背后都是昆侖萬(wàn)維“天工”團(tuán)隊(duì)在大模型領(lǐng)域的深耕與積累。

前沿技術(shù)研發(fā)從來(lái)不能一蹴而就，國(guó)產(chǎn)大模型的創(chuàng)新也始終道阻且長(zhǎng)。

在問(wèn)到“為什么要把大模型能力向所有C端用戶(hù)免費(fèi)開(kāi)放？”時(shí)，昆侖萬(wàn)維回答道：

一直以來(lái)，昆侖萬(wàn)維始終秉承著‘實(shí)現(xiàn)通用人工智能，讓每個(gè)人更好地塑造和表達(dá)自我’的公司使命。我們希望不斷降低大模型技術(shù)的應(yīng)用與學(xué)習(xí)門(mén)檻，與廣大用戶(hù)攜手探索未知世界、共創(chuàng)科技未來(lái)。

如今，大模型應(yīng)用落地趨勢(shì)已開(kāi)啟。在可預(yù)見(jiàn)的方向中，以大模型為底座、面向所有人開(kāi)放使用的超級(jí)APP是最被大家期待的成果之一。因?yàn)樗茉诙虝r(shí)間內(nèi)盡可能讓更多人擁抱大模型趨勢(shì)，讓AI真的服務(wù)于自己。

整個(gè)趨勢(shì)也在向著這個(gè)方向演進(jìn)。技術(shù)層面，多模態(tài)、MoE都是當(dāng)下主流，它們從底層加強(qiáng)模型的性能，讓AI能夠在更大程度上理解世界。應(yīng)用層面，各種爆火AI玩法層出不窮，也是為了能讓更多人感受到生成式AI的魅力，并從中探索挖掘人類(lèi)和大模型更好的交互方式。

天工AI智能助手的升級(jí)，正是大模型玩家如何引領(lǐng)趨勢(shì)的直接體現(xiàn)。技術(shù)升級(jí)+玩法豐富，同時(shí)還面向所有人免費(fèi)開(kāi)放，把門(mén)檻打到最低……在春節(jié)前一炮打響今年的AI應(yīng)用趨勢(shì)。

而更值得關(guān)注的是，當(dāng)每個(gè)人都能參與到大模型趨勢(shì)之中，每個(gè)人也就有機(jī)會(huì)塑造趨勢(shì)。

打開(kāi)APP體驗(yàn)一把，說(shuō)不定你喜歡的AI玩法就是下一個(gè)現(xiàn)象級(jí)爆款呢？