看懂網飛版「三體」！Reka Core登場：挑戰(zhàn)GPT-4、Claude 3
多模態(tài)語言模型又雙叒叕上新了！
近日，由DeepMind、谷歌和Meta的研究人員創(chuàng)立的AI初創(chuàng)公司Reka，推出了他們最新的多模態(tài)語言模型——Reka Core。
它被譽為該公司「最大、最有能力」的模型，在性能上與GPT-4和Claude 3 Opus不相上下！
Reka的首席科學家兼聯(lián)合創(chuàng)始人Yi Tay興奮地表示，過去幾個月，該公司使用了「數(shù)千臺H100」來開發(fā)Reka Core。
能夠達到GPT-4或Opus的水平是研究團隊中許多人的目標。
從頭開始訓練模型來與OpenAI的GPT-4和Claude 3 Opus相媲美無疑是一項壯舉。
目前Core仍在改進，在后續(xù)的時間里，興許會有更多有趣的內容陸續(xù)推出！
對于這個新推出的模型，網友們叫好聲一片~
還有網友看了官方發(fā)布的視頻后驚嘆：這莫不就是傳說中的AGI，有點迫不及待了?。?！
Core是Reka語言模型系列中的第三個成員，由多個來源訓練而成，包括公開數(shù)據、授權數(shù)據以及涵蓋文本、音頻、視頻和圖像文件的合成數(shù)據。
它能夠理解圖像、音頻和視頻等多種模式的數(shù)據內容。
最重要的是，盡管只用了不到一年的時間就完成了訓練，但它的性能卻可以媲美或超越人工智能領域領先的頂級模型。
雖然Reka Core的確切參數(shù)數(shù)量尚未披露，但該公司首席執(zhí)行官Dani Yogatama認為它是一個「非常龐大的模型」（上一個模型Reka Flash有210億個參數(shù)）。
Core還支持32種語言和128,000個詞組的上下文窗口，這也就讓該模型在處理長篇文檔方面具備了極強的優(yōu)勢。
可以說，Core是繼谷歌的Gemini Ultra之后第二個涵蓋從文本到視頻等所有數(shù)據模式并且能夠提供高質量輸出的模型了。
此外，Yogatama還表示，研究團隊正在訓練Core以進一步提高其性能，同時也在開發(fā)下一個版本，并且表示該公司沒有開源該技術的計劃。
技術細節(jié)
訓練數(shù)據
訓練數(shù)據由公開可用和專有/許可數(shù)據集組成，其中包括包括文本、圖像、視頻和音頻剪輯，獲取數(shù)據的截止日期為2023年11月。
雖然并未對語料庫的內容進行嚴格意義上的分類，但預訓練數(shù)據中大約25%的數(shù)據是與代碼相關的，30%的數(shù)據是與STEM相關。
其中約有25%的數(shù)據是網絡爬取獲得的并且約10%的數(shù)據跟數(shù)學相關。
總體混合率一般遵循優(yōu)先考慮獨特標記的原則，但會根據數(shù)量有限的小規(guī)模消融產生的信號進行人工調整
預訓練數(shù)據中大約15%是明確的多語言數(shù)據，由32種不同的語言按分層加權組成。
除了這些明確加權的語言之外，為了讓大多數(shù)語言都有基準性能，研究團隊還在包含110種語言的維基百科上進行訓練。
模型架構
Reka模型架構是一個模塊化的編碼器-解碼器架構，支持文本、圖像、視頻 和音頻輸入。目前，我們的模型僅支持文本輸出。
模型主要使用Pytorch在Nvidia H100上進行訓練。
研究團隊表示，盡管訓練過程學習率非常高，但損失峰值很少，因此模型預訓練過程相對比較順利。
后訓練（Post-Training）
經過預訓練后，模型使用強正則化技術對多個epoch進行指令調整。
對于SFT，研究團隊使用混合數(shù)據集進行訓練，其中包括他們的專有數(shù)據和公開數(shù)據。
SFT之后，使用RLHF方法進行對齊。
此外，在后訓練過程中，研究人員還考慮了工具使用、函數(shù)調用和網絡搜索等內容。
性能亮點
在業(yè)界公認的關鍵評估指標方面，Core與OpenAI、Anthropic和谷歌的模型相比具有很強的競爭力。
考慮到它的模型大小和性能，從總體成本的角度來看，Core能帶來巨大的價值。
Core擁有強大功能的同時，部署也十分靈活，由此開啟了大量新的應用案例。
在視頻感知測試中，Core的表現(xiàn)遠遠超過其唯一的競爭對手Gemini Ultra（59.3 分對 54.7 分）。
同時，在針對圖像任務的MMMU基準測試中，Core以56.3的得分緊隨GPT-4（56.8）、Claude 3 Opus（59.4）、Gemini Ultra（59.4）和 Gemini Pro 1.5（58.5）之后。
即使在其他基準測試中，Core也能媲美行業(yè)領先模型。
例如，在知識任務的MMLU測試中，它獲得了83.2分，緊隨GPT-4、Claude 3 Opus和Gemini Ultra之后。
在推理的GSM8K基準測試和編碼的HumanEval測試中，它分別以92.2分和76.8分擊敗了GPT-4。
下表總結了Core與目前市場上領先模型的比較。
模型能力
1. 多模態(tài)（圖像和視頻）理解
Core 不僅僅是一個前沿的大型語言模型，它對圖像、視頻和音頻具有強大的上下文理解能力，是僅有的兩個商用綜合多模態(tài)解決方案之一。
2. 128K上下文窗口
Core能夠攝取并精確準確地調用更多信息。
3. 推理能力
Core在語言或者數(shù)學方面具有出色的推理能力，使其適用于需要精密分析的復雜任務。
4. 編碼和代理工作流
Core是頂級代碼生成器。它的編碼能力與其他功能相結合時，可以增強代理工作流程的能力。
5. 支持多種語言
Core是在32種語言的文本數(shù)據上進行的預訓練，因此，它能說流利的英語以及好幾種亞洲和歐洲的語言。
6. 部署靈活性
與Reka其他型號的模型（Flash和Edge）一樣，Core可通過API、本地或設備部署，以滿足客戶和合作伙伴的部署限制。
本文轉自 新智元 ，作者：新智元
