國內(nèi)自研大模型迎來新面孔，而且發(fā)布即開源！

最新消息，多模態(tài)大語言模型TigerBot正式亮相，包含70億參數(shù)和1800億參數(shù)兩個版本，均對外開源。

由該模型支持的對話AI同步上線。

寫廣告語、做表格、糾正語法錯誤，效果都不錯；也支持多模態(tài)，能生成圖片。

評測結(jié)果顯示，TigerBot-7B已達到OpenAI同樣大小模型綜合表現(xiàn)的 96%。

△公開 NLP 數(shù)據(jù)集上的自動評測，以O(shè)penAI-instruct GPT-6B-SFT為基準，歸一化并平均各模型的得分情況

而更大規(guī)模的TigerBot-180B或是目前業(yè)內(nèi)開源的最大規(guī)模大語言模型。

此外，團隊還一并開源100G預(yù)訓練數(shù)據(jù)、監(jiān)督微調(diào)1G或100萬條數(shù)據(jù)。

基于TigerBot，開發(fā)者在半天內(nèi)就能打造出自己的專屬大模型。

目前TigerBot對話AI已邀請內(nèi)測，開源代碼數(shù)據(jù)等已上傳至GitHub（詳細鏈接見文末）。

如上這些重磅工作，來自一支最初只有5人的小團隊，首席程序員&科學家就是CEO本人。

但這個團隊，絕非師出無名。

從2017年起，他們就在NLP領(lǐng)域開始創(chuàng)業(yè)，專長垂直領(lǐng)域搜索。最擅長對數(shù)據(jù)重度以來的金融領(lǐng)域，和方正證券、國信證券等有過深入合作。

創(chuàng)始人兼CEO，有著20多年從業(yè)經(jīng)驗，曾任UC伯克利客座教授，手握3篇最佳頂會論文和10項技術(shù)專利。

如今，他們決心從專長領(lǐng)域走向通用大模型。

而且一開始便從最底層的基礎(chǔ)模型做起，3個月內(nèi)完成3000次實驗迭代，還有底氣將階段性成果對外開源。

不禁讓人好奇，他們是誰？想要做哪些事？如今已經(jīng)帶來了哪些階段性成果？

TigerBot是什么？

具體來看，TigerBot是一款國產(chǎn)自研的多語言任務(wù)大模型。

覆蓋生成、開放問答、編程、畫圖、翻譯、頭腦風暴等15大類能力，支持子任務(wù)超過60種。

而且支持插件功能，能讓模型聯(lián)網(wǎng)，獲取到更加新鮮的數(shù)據(jù)和信息。

它的定位更偏向辦公場景，提出改善人們工作流、提高效率的目標。

比如讓它來幫我寫一條Apple Vision Pro的新聞快訊，效果有模有樣：

或者寫一個論文大綱，條理清晰、結(jié)構(gòu)合理：

編程也沒問題，并且支持英文對話。

如果讓它畫圖的話，每次都會生成3張不一樣的，可以自己挑選。

這次發(fā)布，TigerBot一共推出了兩種size：70億參數(shù)（TigerBot-7B）和1800億參數(shù)（TigerBot-180B）。

團隊將目前取得的階段性成果——模型、代碼、數(shù)據(jù)，通通開源。

開源模型包括三個版本：

• TigerBot-7B-sft
• TigerBot-7B-base
• TigerBot-180B-research

其中TigerBot-7B-base的表現(xiàn)優(yōu)于OpenAI同等可比模型、BLOOM。TigerBot-180B-research或是目前業(yè)內(nèi)開源的最大規(guī)模模型（Meta開源OPT的參數(shù)量為1750億、BLOOM則為1760億規(guī)模）。

開源代碼包括基本訓練和推理代碼，雙卡推理180B模型的量化和推理代碼。

數(shù)據(jù)包括100G預(yù)訓練數(shù)據(jù)，監(jiān)督微調(diào)1G或100萬條數(shù)據(jù)。

根據(jù)OpenAI InstructGPT論文在公開NLP數(shù)據(jù)集上的自動評測，TigerBot-7B已達到 OpenAI 同樣大小模型的綜合表現(xiàn)的96%。

而這一版本還只是MVP（最小可行性模型）。

這些成果主要得益于團隊在GPT和BLOOM基礎(chǔ)上，在模型架構(gòu)和算法上都做了更進一步的優(yōu)化，也是TigerBot團隊過去幾個月來的主要創(chuàng)新工作，讓模型的學習能力、創(chuàng)造力和生成可控上都有明顯提升。

具體如何實現(xiàn)？往下看。

性能提升同時降低成本

TigerBot帶來的創(chuàng)新主要有以下幾個方面：

• 提出指令完成監(jiān)督微調(diào)的創(chuàng)新算法提升模型可學習性
• 運用ensemble和probabilistic modeling的方法實現(xiàn)可控事實性和創(chuàng)造性
• 在并行訓練上突破deep-speed等主流框架中的內(nèi)存和通信問題，實現(xiàn)千卡環(huán)境下數(shù)月無間斷
• 針對中文語言更不規(guī)則的分布，從tokenizer到訓練算法上做了更適合的優(yōu)化

首先來看指令完成監(jiān)督微調(diào)方法。

它能讓模型在只使用少量參數(shù)的情況下，就能快速理解人類提出了哪類問題，提升回答的準確性。

原理上使用了更強的監(jiān)督學習進行控制。

通過Mark-up Language（標記語言）的方式，用概率的方法讓大模型能夠更準確區(qū)分指令的類別。比如指令的問題是偏事實類還是發(fā)散類？是代碼嗎？是表格嗎？

因此TigerBot涵蓋了10大類、120類小任務(wù)。然后讓模型基于判斷，朝著對應(yīng)方向優(yōu)化。

帶來的直接好處是調(diào)用參數(shù)量更少，同時模型對新數(shù)據(jù)或任務(wù)的適應(yīng)能力更好，即學習性（learnability）提高。

在同樣50萬條數(shù)據(jù)訓練的情況下，TigerBot的收斂速度比斯坦福推出的Alpaca快5倍，在公開數(shù)據(jù)集上評測顯示性能提升17%。

其次，模型如何更好平衡生成內(nèi)容的創(chuàng)造性和事實可控性，也非常關(guān)鍵。

TigerBot一方面采用ensemble的方法，將多個模型組合起來兼顧創(chuàng)造性和事實可控性。

甚至可以根據(jù)用戶的需求，調(diào)整模型在二者之間的權(quán)衡。

另一方面還采用了AI領(lǐng)域經(jīng)典的概率建模（Probabilistic Modeling）方法。

它能讓模型在生成內(nèi)容的過程中，根據(jù)最新生成的token，給出兩個概率。一個概率判斷內(nèi)容是否應(yīng)該繼續(xù)發(fā)散下去，一個概率表示生成內(nèi)容離事實內(nèi)容的偏離程度。

綜合兩個概率的數(shù)值，模型會在創(chuàng)造性和可控性上做一個權(quán)衡。TigerBot中這兩個概率的得出由專門數(shù)據(jù)進行訓練。

考慮到模型生成下一個token時，往往無法看到全文的情況，TigerBot還會在回答寫完后再進行一次判斷，如果最終發(fā)現(xiàn)回答不準確，便會要求模型重寫。

我們在體驗過程中也發(fā)現(xiàn)，TigerBot生成回答并不是ChatGPT那樣逐字輸出的模式，而是在“思考”后給出完整答案。

△ChatGPT和TigerBot回答方式對比

而且由于TigerBot的推理速度很快，能夠支撐模型快速重寫。

這里就要說到TigerBot在訓練和推理上的創(chuàng)新了。

除了思考到模型底層架構(gòu)的優(yōu)化，TigerBot團隊認為工程化水平在當下大模型時代也很重要。

一方面是因為要考慮運營效率——隨著大模型趨勢持續(xù)，誰能更快迭代模型非常關(guān)鍵；另一方面當然還要考慮算力的經(jīng)濟性。

因此，他們在并行訓練方面，突破了deep-speed等主流框架中的若干內(nèi)存和通信問題，實現(xiàn)了千卡環(huán)境下訓練數(shù)月無間斷。

這使得他們每月在訓練上的開銷，能夠節(jié)省數(shù)十萬。

最后，針對中文連續(xù)性強、多義歧義情況多等問題，TigerBot從tokenizer到訓練算法上，都做了相應(yīng)優(yōu)化。

總結(jié)來看，TigerBot實現(xiàn)的技術(shù)創(chuàng)新，全都發(fā)生在當下大模型領(lǐng)域中最受關(guān)注的領(lǐng)域內(nèi)。

不僅是底層架構(gòu)的優(yōu)化，還考慮到了落地層面的用戶需求、開銷成本等問題。并且整個創(chuàng)新過程的速度非?？欤?0人左右小團隊在幾個月時間內(nèi)實現(xiàn)。

這對團隊本身的開發(fā)能力、技術(shù)見解、落地經(jīng)驗都有非常高的要求。

所以，到底是誰帶著TigerBot突然殺入大眾視野？

虎博科技是誰？

TigerBot的幕后開發(fā)團隊，其實就藏在它本身的名字里——虎博科技。

它成立于2017年，也就是人們常說的AI上一輪爆發(fā)期內(nèi)。

虎博科技給自己的定位是“一家人工智能技術(shù)驅(qū)動的公司”，專注于NLP技術(shù)的應(yīng)用落地，愿景是打造下一代智能且簡單的搜索體驗。

具體實現(xiàn)路徑上，他們選擇了對數(shù)據(jù)信息最為敏感的領(lǐng)域之一——金融。自研了垂直領(lǐng)域內(nèi)智能搜索、智能推薦、機器閱讀理解、總結(jié)、翻譯等技術(shù)，推出了智能金融搜索和問答系統(tǒng)“虎博搜索”等。

公司創(chuàng)始人兼CEO為陳燁，是一位世界級AI科學家。

他博士畢業(yè)于威斯康辛大學麥迪遜分校，曾任加州大學伯克利分?？妥淌冢浆F(xiàn)在為止從業(yè)已有20余年。

他先后在微軟、eBay、雅虎擔任主任科學家和研發(fā)總監(jiān)等要職，主導研發(fā)了雅虎的行為定向系統(tǒng)、eBay的推薦系統(tǒng)以及微軟搜索廣告競拍市場機制等。

2014年，陳燁加入大眾點評。之后美團點評合并，他任美團點評高級副總裁，分管集團廣告平臺，助力集團年廣告收入從1000萬提升至40多億。

學術(shù)方面，陳燁曾三次獲得頂會最佳論文獎（KDD和SIGIR），在SIGKKD、SIGIR、IEEE等人工智能學術(shù)會議上發(fā)表20篇論文，擁有10項專利。

2017年7月，陳燁正式創(chuàng)立虎博科技。成立1年后，虎博便快速拿下超億元融資，目前公司披露融資總額達4億元。

7個月以前，ChatGPT橫空出世，AI在時隔6年以后，再次顛覆大眾認知。

即便是陳燁這樣在AI領(lǐng)域內(nèi)創(chuàng)業(yè)多年的技術(shù)專家，也用“從業(yè)以來前所未有的震撼”來形容。

而在震撼之外，更多還是激動。

陳燁說，看到ChatGPT后，幾乎不用思考或決定，內(nèi)心的呼喚讓他一定會跟進趨勢。

所以，從1月份開始，虎博正式成立了TigerBot的初始開發(fā)團隊。

不過和想象中不太一樣，這是一支極客風格非常鮮明的團隊。

用他們自己的話來說，致敬硅谷90年代經(jīng)典的“車庫創(chuàng)業(yè)”模式。

團隊最初只有5個人，陳燁是首席程序員&科學家，負責最核心的代碼工作。后面成員規(guī)模雖有擴充，但也只控制在了10人，基本上一人一崗。

為什么這樣做？

陳燁的回答是：

我認為從0到1的創(chuàng)造，是一件很極客的事，而沒有一個極客團隊是超過10個人的。

以及純技術(shù)科學的事，小團隊更犀利。

的確，TigerBot的開發(fā)過程里，方方面面都透露著果斷、敏銳。

陳燁將這個周期分為三個階段。

第一階段，也就是ChatGPT爆火不久后，團隊迅速掃遍了OpenAI等機構(gòu)過去5年內(nèi)所有相關(guān)文獻，大致了解ChatGPT的方法機制。

由于ChatGPT代碼本身不開源，當時相關(guān)的開源工作也比較少，陳燁自己上陣寫出TigerBot的代碼，然后馬上開始跑實驗。

他們的邏輯很簡單，讓模型先在小規(guī)模數(shù)據(jù)上驗證成功，然后經(jīng)過系統(tǒng)科學評審，也就是形成一套穩(wěn)定的代碼。

在一個月時間內(nèi)，團隊就驗證了模型在70億規(guī)模下能達到OpenAI同規(guī)模模型80%的效果。

第二階段，通過不斷吸取開源模型和代碼中的優(yōu)點，加上對中文數(shù)據(jù)的專門優(yōu)化處理，團隊快速拿出了一版真實可用的模型，最早的內(nèi)測版在2月便已上線。

同時，他們還發(fā)現(xiàn)在參數(shù)量達到百億級別后，模型表現(xiàn)出了涌現(xiàn)的現(xiàn)象。

第三階段，也就是到了最近的一兩個月內(nèi)，團隊在基礎(chǔ)研究上實現(xiàn)了一些成果和突破。

如上介紹的諸多創(chuàng)新點，就是在這一時期內(nèi)完成的。

同時在這一階段內(nèi)整合更大規(guī)模算力，達到更快的迭代速度，1-2個星期內(nèi)，TigerBot-7B的能力便快速從InstructGPT的80%提升到了96%。

陳燁表示，在這個開發(fā)周期內(nèi)，團隊始終保持著超高效運轉(zhuǎn)。TigerBot-7B在幾個月內(nèi)經(jīng)歷了3000次迭代。

小團隊的優(yōu)勢是反應(yīng)速度快，早上確定工作，下午就能寫完代碼。數(shù)據(jù)團隊幾個小時就能完成高質(zhì)量清洗工作。

但高速開發(fā)迭代，還只是TigerBot極客風格的體現(xiàn)點之一。

因為他們僅憑10個人在幾個月內(nèi)肝出來的成果，將以全套API的形式向行業(yè)開源。

如此程度的擁抱開源，在當下趨勢尤其是商業(yè)化領(lǐng)域內(nèi)，比較少見。

畢竟在激烈競爭中，構(gòu)建技術(shù)壁壘是商業(yè)公司不得不面對的問題。

那么，虎博科技為什么敢于開源？

陳燁給出了兩點理由：

第一，作為一名AI領(lǐng)域內(nèi)的技術(shù)人員，出于對技術(shù)最本能的信仰，他有一點熱血、有一點煽情。

我們想要以世界級的大模型，貢獻于中國創(chuàng)新。給行業(yè)一個可用的、底層基礎(chǔ)扎實的通用模型，能讓更多人快速訓練出專業(yè)大模型，實現(xiàn)產(chǎn)業(yè)集群的生態(tài)打造。

第二，TigerBot接下來還會繼續(xù)保持高速迭代，陳燁認為在這種賽跑的局面下，他們能保持身位優(yōu)勢。即便是看到有人以TigerBot為底層開發(fā)出了性能更好的產(chǎn)品，這對于行業(yè)內(nèi)來說又何嘗不是一件好事？

陳燁透露，接下來虎博科技還會持續(xù)快速推進TigerBot的工作，進一步擴充數(shù)據(jù)來提升模型性能。

“大模型趨勢就像淘金熱”

在ChatGPT發(fā)布6個月以后，隨著一個個大模型橫空出世、一家家巨頭火速跟進，AI行業(yè)格局正在被快速重塑。

盡管當下還相對混沌，但大致來看，基本上會分為模型層、中間層、應(yīng)用層三層。

其中模型層決定底層能力，至關(guān)重要。

它的創(chuàng)新程度、穩(wěn)定程度、開放程度，直接決定了應(yīng)用層的豐富程度。

而應(yīng)用層的發(fā)展是大模型趨勢演進的外化體現(xiàn)；更是AIGC愿景里，人類社會生活走向下一階段的重要影響因素。

那么，在大模型趨勢的起點，如何夯實底層模型基礎(chǔ)，是行業(yè)內(nèi)必須思考的事。

在陳燁看來，目前人類才只開發(fā)了大模型10-20%的潛力，在fundamental層面還有非常大的創(chuàng)新和提升空間。

就好像曾經(jīng)的西部淘金熱，最初要找到金礦在哪里一樣。

所以在這樣的趨勢和行業(yè)發(fā)展要求下，虎博科技作為國產(chǎn)領(lǐng)域創(chuàng)新代表，高舉開源大旗，迅速起跑、追趕世界最前沿技術(shù)，確實也為行業(yè)內(nèi)帶來了一股與眾不同的氣息。

國產(chǎn)AI創(chuàng)新正在高速狂奔，未來一段時間內(nèi)，相信我們還會看到更多有想法、有能力的團隊亮相，為大模型領(lǐng)域注入新的見解、帶來新的改變。

而這，或許就是趨勢轟轟烈烈演進過程中，最迷人之處了。

福利時刻：

想體驗TigerBot的童鞋，可以通過下方鏈接或點擊“閱讀原文”進入網(wǎng)站，點擊“申請內(nèi)測”，組織代碼中寫“量子位”即可通過內(nèi)測~

官網(wǎng)地址：https://www.tigerbot.com/chat

GitHub開源地址：https://github.com/TigerResearch/TigerBot