智源研究院發(fā)布超大規(guī)模智能模型“悟道1.0”
3月20日，北京智源人工智能研究院發(fā)布超大規(guī)模智能模型“悟道1.0”。“悟道1.0”是我國首個超大規(guī)模智能模型系統(tǒng)，由智源研究院學術(shù)副院長、清華大學唐杰教授領(lǐng)銜，帶領(lǐng)來自北京大學、清華大學、中國人民大學、中國科學院等單位的100余位AI科學家團隊聯(lián)合攻關(guān)，取得了多項國際領(lǐng)先的AI技術(shù)突破，形成超大規(guī)模智能模型訓(xùn)練技術(shù)體系，訓(xùn)練出包括中文、多模態(tài)、認知、蛋白質(zhì)預(yù)測在內(nèi)的系列模型。
“悟道”模型：旨在從更加本質(zhì)的角度進一步探索通用智能
會上，智源研究院院長黃鐵軍教授介紹了“悟道”模型研發(fā)的初衷。據(jù)他介紹，本輪人工智能浪潮的基本特點是“數(shù)據(jù)+算力+算法=模型”，模型濃縮了訓(xùn)練數(shù)據(jù)的內(nèi)部規(guī)律，是實現(xiàn)人工智能應(yīng)用的載體。近年來人工智能的發(fā)展，已經(jīng)從“大煉模型”逐步邁向了“煉大模型”的階段，通過設(shè)計先進的算法，整合盡可能多的數(shù)據(jù)，匯聚大量算力，集約化地訓(xùn)練大模型，供大量企業(yè)使用，這是必然趨勢。
智能模型不僅要規(guī)模大（主要體現(xiàn)為參數(shù)量），還要智商高，才能滿足各種應(yīng)用需要，這需要突破大量技術(shù)挑戰(zhàn)。作為以人工智能源頭創(chuàng)新為使命的新型研究機構(gòu)，智源研究院2020年10月正式啟動超大規(guī)模智能模型“悟道”項目，研發(fā)既博大又精深的超大規(guī)模訓(xùn)練模型，從更加本質(zhì)的角度進一步探索通用人工智能。同時，構(gòu)建大規(guī)模智能模型應(yīng)用生態(tài)，推動相關(guān)機構(gòu)和個人開發(fā)者基于模型研發(fā)各類新型智能應(yīng)用，服務(wù)我國實體經(jīng)濟產(chǎn)業(yè)升級。
為了更好地推動“悟道”大模型的研發(fā)，保持研發(fā)過程中技術(shù)的領(lǐng)先性，此次發(fā)布上，還同時成立了由9位來自學術(shù)界和產(chǎn)業(yè)界的頂尖科學家組成的“悟道”大模型技術(shù)委員會。委員會主任由清華大學唐杰教授擔任，委員會成員包括：北京大學鄂維南院士、清華大學魯白教授、中國人民大學人工智能信息學院院長文繼榮教授、清華大學計算機系長聘副教授劉知遠、清華大學計算機系長聘副教授黃民烈、北京大學王選計算機研究所萬小軍研究員、一流科技創(chuàng)始人袁進輝、循環(huán)智能聯(lián)合創(chuàng)始人楊植麟。后續(xù)，技術(shù)委員會將為大模型研發(fā)的技術(shù)方案和路線選擇等進行指導(dǎo)和把關(guān)。
“悟道1.0”：我國首個超大規(guī)模智能模型
會上，“悟道”模型技術(shù)委員會主任、智源研究院學術(shù)副院長唐杰教授介紹了“悟道”模型的戰(zhàn)略布局及階段性成果。據(jù)介紹，“悟道1.0”先期啟動了4個大模型的研發(fā)。
“悟道·文源”是“以中文為核心的大規(guī)模預(yù)訓(xùn)練模型”，目標是構(gòu)建完成全球規(guī)模最大的以中文為核心的預(yù)訓(xùn)練語言模型，在中英文等多個世界主流語言上取得最好的處理能力，在文本分類、情感分析、自然語言推斷、閱讀理解等多個任務(wù)上超越人類平均水平，探索具有通用能力的自然語言理解技術(shù)，并進行腦啟發(fā)的語言模型研究。目前，“悟道·文源”模型參數(shù)量達26億，具有識記、理解、檢索、數(shù)值計算、多語言等多種能力，并覆蓋開放域回答、語法改錯、情感分析等20種主流中文自然語言處理任務(wù)，技術(shù)能力已與GPT-3實現(xiàn)齊平，達到現(xiàn)有中文生成模型的領(lǐng)先效果。
“悟道·文瀾”是“超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型”，目標是突破基于圖、文和視頻相結(jié)合的多模態(tài)數(shù)據(jù)的預(yù)訓(xùn)練理論難題，并最終生成產(chǎn)業(yè)級中文圖文預(yù)訓(xùn)練模型和應(yīng)用，并在多個評測應(yīng)用上超過國際最高性能。目前，“悟道·文瀾”模型參數(shù)量達10億，基于從公開來源收集到的5000萬個圖文對上進行訓(xùn)練，是首個公開的中文通用圖文多模態(tài)預(yù)訓(xùn)練模型。目前，該模型性能已到達國際領(lǐng)先水平，在中文公開多模態(tài)測試集AIC-ICC的圖像生成描述任務(wù)中，得分比冠軍隊高出5%；在圖文互檢任務(wù)中，得分比目前最流行的UNITER模型高出20%。
“悟道·文匯”為“面向認知的超大規(guī)模新型預(yù)訓(xùn)練模型”，致力于從認知的角度研究通用人工智能中一系列更本質(zhì)問題，側(cè)重進一步提升和發(fā)展預(yù)訓(xùn)練模型基于邏輯、意識和推理的認知能力，目標是研發(fā)出千億至萬億級別參數(shù)量的、更通用且性能超越國際水平的預(yù)訓(xùn)練模型，搭建預(yù)訓(xùn)練模型體系，同時形成認知智能生態(tài)。目前，“悟道·文匯”模型的參數(shù)規(guī)模達113億，在多項任務(wù)中“悟道·文匯”的表現(xiàn)已經(jīng)接近突破圖靈測試，通過簡單微調(diào)就已經(jīng)實現(xiàn)AI作詩、AI作圖、AI制作視頻、圖文生成、圖文檢索、復(fù)雜推理。
“悟道·文溯”是“超大規(guī)模蛋白質(zhì)序列預(yù)測預(yù)訓(xùn)練模型”，最終目標是以基因領(lǐng)域認知圖譜為指導(dǎo)，研發(fā)出十億參數(shù)規(guī)模、可以處理超長蛋白質(zhì)序列的超大規(guī)模預(yù)訓(xùn)練模型，在基本性能、可解釋性和魯棒性等多個方面達到世界領(lǐng)先水平。目前，“悟道·文溯”已在蛋白質(zhì)方面完成基于100GB UniParc數(shù)據(jù)庫訓(xùn)練的BERT模型，在基因方面完成基于5-10萬規(guī)模的人外周血免疫細胞（細胞類型25-30種）和1萬耐藥菌的數(shù)據(jù)訓(xùn)練，同時搭建訓(xùn)練軟件框架并驗證其可擴展性。
據(jù)唐杰教授介紹，此次發(fā)布的“悟道”大模型1.0版本，已經(jīng)完成了百億和千億參數(shù)規(guī)模的預(yù)訓(xùn)練，在多個國際評測中取得世界第一，在部分任務(wù)上具有一定認知能力。今年，還將陸續(xù)發(fā)布后續(xù)迭代版本，面向產(chǎn)業(yè)界開放使用。
應(yīng)用生態(tài)“三步走”：探索“悟道”大模型生態(tài)發(fā)展
在模型研發(fā)的同時，智源研究院也在同步探索“悟道”模型的應(yīng)用生態(tài)建設(shè)模式。據(jù)唐杰教授介紹，后續(xù)“悟道”模型將以開放API（應(yīng)用程序接口）的形式對外提供服務(wù)，用戶通過申請并經(jīng)授權(quán)后可以基于模型API開發(fā)各類智能化應(yīng)用。另外，也會開源模型的社區(qū)版本，服務(wù)我國AI科研發(fā)展。
據(jù)唐杰教授介紹，下一步，“悟道”模型應(yīng)用生態(tài)建設(shè)分為三個主要階段，分別關(guān)注示范應(yīng)用、API生態(tài)及社區(qū)運營維護等。第一階段為示范性應(yīng)用搭建，將構(gòu)建面向電子商務(wù)、智能文本服務(wù)、垂直領(lǐng)域以及數(shù)個獨立的示范性應(yīng)用，將開放幾個高質(zhì)量的應(yīng)用Demo，支持用戶在平臺頁面上使用及測試。第二階段為API及平臺生態(tài)構(gòu)建，將設(shè)計多個API，支持對模型的不同請求方式，構(gòu)建支持高并發(fā)、高速推理的API接口，分別支持企業(yè)級用戶、個人獨立開發(fā)者對模型或特定功能的請求。第三階段為社區(qū)運營及迭代，將逐步增量擴大在線評測，構(gòu)建開發(fā)者及使用者社區(qū)，建立完善的使用反饋機制，并作為模型迭代的參考標準，同時加強社區(qū)維護及管理，加快模型迭代。
目前，智源研究院已啟動第一階段的示范性應(yīng)用搭建，正與快手、搜狗、360、阿里、智譜華章、一覽群智、循環(huán)智能、新華社等機構(gòu)就模型的應(yīng)用進行洽談，聯(lián)合構(gòu)建一批工業(yè)級示范性應(yīng)用。下一步，智源研究院將加強用戶的開發(fā)，做好用戶服務(wù)，與AI龍頭企業(yè)共同研發(fā)更多工業(yè)級示范性應(yīng)用，并將加快推動API生態(tài)構(gòu)建及社區(qū)運營迭代工作，通過舉辦學術(shù)交流、技術(shù)挑戰(zhàn)賽等活動提高“悟道”模型的影響力，吸引更多AI企業(yè)、研究機構(gòu)、個人開發(fā)者等開展基于模型的應(yīng)用開發(fā)工作，推動構(gòu)建國際領(lǐng)先的超大規(guī)模智能模型應(yīng)用生態(tài)。
