3個月就能研發(fā)并上線大模型？這不是不可能，而且誕生于一只僅有10人的小項目團隊。

這家公司是國內(nèi)的一家創(chuàng)業(yè)公司——虎博科技，他們在短短3個月內(nèi)，研發(fā)出首款自研大模型Tigerbot，并同步開源，同時發(fā)布了大模型應(yīng)用開發(fā)所需的全套 API及多領(lǐng)域?qū)I(yè)數(shù)據(jù)。

(開源地址：https://github.com/TigerResearch/TigerBot )

據(jù)了解，虎博科技成立于2017年，其專注于深度學(xué)習(xí)和NLP技術(shù)的研究和應(yīng)用得到了廣泛認(rèn)可。此次發(fā)布并開源其自研大模型TigerBot，標(biāo)志著這家專注于深度學(xué)習(xí)和自然語言處理技術(shù)的算法公司在大模型研發(fā)領(lǐng)域取得了重要突破。

虎博科技創(chuàng)始人兼CEO陳燁表示，在大模型研發(fā)方面，虎博團隊借鑒了硅谷的經(jīng)典"車庫創(chuàng)業(yè)"模式，最初的團隊規(guī)模只有5個人，而陳燁本人同時擔(dān)任首席程序員和首席AI科學(xué)家的角色。終于，在歷經(jīng)3 個月的封閉式開發(fā)和超過 3000 次實驗后，迭代出第一個 MVP (最小可行性模型)，其表現(xiàn)效果堪比同規(guī)模大小的OpenAI的96%，且在推理式問答等個別領(lǐng)域表現(xiàn)尤其亮眼。

在陳燁眼中，頂尖團隊不一定需要龐大的規(guī)模，但每個人技術(shù)都必須過硬，“我們的核心研發(fā)團隊始終保持在4-5人，并保持著密切的合作狀態(tài)?！敝钡酱竽Ｐ桶l(fā)布前夕，這個小團隊也不過10人而已。

過去三個月中，虎博科技主要基于 GPT 和 BLOOM 兩個開源模型基礎(chǔ)上，在模型架構(gòu)和算法上做了一系列優(yōu)化，特別是原創(chuàng)了監(jiān)督和微調(diào)方法，使大模型在事實性和創(chuàng)造性兩方面有了顯著突破，解決了大模型“胡說八道”的問題。“從整個技術(shù)角度來說，監(jiān)督微調(diào)的方法是大模型這件事的核心，能夠影響模型效果的七到八成"，陳燁分享道。

為了使模型更懂中文指令，虎博科技還從分詞器(Tokenizer)到訓(xùn)練算法等方面做了優(yōu)化，直接賦予了問答結(jié)果更多中國文化屬性。

在并行訓(xùn)練上，虎博的大模型團隊也突破了 deep-speed 等主流框架中若干內(nèi)存和通信問題，使得在千卡環(huán)境下，可實現(xiàn)訓(xùn)練數(shù)月而不間斷，極大加速了模型迭代速度。

由于虎博科技這只創(chuàng)業(yè)團隊秉持了科學(xué)創(chuàng)新無國界無階層的理念，從研發(fā)之初，他們就選擇了開源這條路，使得Tigerbot成為業(yè)內(nèi)少有的開源大模型。

據(jù)悉，虎博大模型Tigerbot在模型、代碼、數(shù)據(jù)三部分內(nèi)容與廣大開發(fā)者實現(xiàn)資源共享，包含 TigerBot-7B-sft、 TigerBot-7B-base、TigerBot-180B-research 等多個模型版本;基本訓(xùn)練且覆蓋雙卡推理 180B 模型的量化和推理代碼;以及達(dá) 100G 的預(yù)訓(xùn)練數(shù)據(jù)、監(jiān)督微調(diào) 1G/100 萬條數(shù)據(jù)。值得一提的是，開源版本中，TigerBot-7B-base的綜合表現(xiàn)優(yōu)于同等可比的OpenAI和BLOOM，TigerBot-180B-research 的參數(shù)量達(dá)1800億，或是目前業(yè)內(nèi)最大的大規(guī)模語言模型，而高達(dá)100G的預(yù)訓(xùn)練數(shù)據(jù)，更被視為目前業(yè)內(nèi)最大且質(zhì)量最優(yōu)的開源預(yù)訓(xùn)練數(shù)據(jù)之一。

虎博科技還將發(fā)布大模型應(yīng)用開發(fā)所需的全套API，包括對話(Chat)、插件(Plug-ins)、微調(diào)(Fine-Tunes)等，同步共享專業(yè)領(lǐng)域數(shù)據(jù)，涵蓋金融，法律，百科等，以期與大模型應(yīng)用開發(fā)者，一起打造中國的世界級的應(yīng)用。

目前，Tigerbo已經(jīng)包含大部分生成和理解類的能力，如營銷文案、評論、新聞稿等內(nèi)容生產(chǎn)創(chuàng)作、文到圖插圖創(chuàng)作、數(shù)學(xué)題解題、寫生成、做表格、文本理解等多項功能。未來，虎博科技還將持續(xù)投入大模型的研發(fā)和落地，或會推出研究助手 TigerDoc、文創(chuàng)和營銷工具等大模型應(yīng)用及面向個人用戶的類助手產(chǎn)品。