就在剛剛，創(chuàng)業(yè)成功的27歲億萬(wàn)富翁Alexandr Wang宣布——

Scale AI的年化收入，幾乎達(dá)到了10億美元！

這個(gè)數(shù)字，足夠震驚整個(gè)硅谷的。

相比之下，OpenAI預(yù)估的年收入也只是35-45億美元而已。再減去85億美元的成本，OpenAI今年可能會(huì)血虧50億。

這Scale AI是什么來(lái)頭，能在營(yíng)收上取得如此驚人的成績(jī)？

原來(lái)，它主攻的就是如今AI模型的一大軟肋——對(duì)數(shù)據(jù)的巨大需求。

我們正在進(jìn)入LLM開(kāi)發(fā)的第三階段。

第一階段是早期的試驗(yàn)，從Transformer到GPT-3

第二階段是規(guī)模擴(kuò)展

第三階段是創(chuàng)新階段：除了o1之外，還需要哪些突破性進(jìn)展才能讓我們達(dá)到新的proto-AGI范式

Scaling Law的存在意味著，隨著模型變大，對(duì)數(shù)據(jù)的需求也呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，越來(lái)越多的人擔(dān)心大模型會(huì)耗盡可用數(shù)據(jù)。

Scale AI的主營(yíng)業(yè)務(wù)——做AI模型的「數(shù)據(jù)工廠」，恰好處于這個(gè)風(fēng)口之上。

如果能攻克「數(shù)據(jù)墻」這個(gè)AI進(jìn)步的巨大瓶頸，Alexandr Wang理所當(dāng)然會(huì)賺得盆滿缽滿。

在AI浪潮中，賺得盆滿缽滿

生意能做這么大，源于Scale AI越做越成功的一項(xiàng)大業(yè)務(wù)。

在AI生態(tài)圈中，為大公司提供基礎(chǔ)設(shè)施或服務(wù)支持的業(yè)務(wù)，市場(chǎng)需求巨大。

Scale AI做的就是后者——為這些公司提供人工數(shù)據(jù)標(biāo)注員。幫AI公司提高LLM的準(zhǔn)確性。Meta、谷歌等大公司，都是它的客戶。

而且，今年Scale AI的生意越做越紅火了。

跟去年同期相比，它今年上半年的銷(xiāo)售額增長(zhǎng)了近4倍，已經(jīng)接近4億美元。

可以肯定地說(shuō)，Scale AI是從AI熱潮中受益最多的私營(yíng)企業(yè)之一。

投資者們當(dāng)然也看到了這一點(diǎn)。

今年5月，Scale AI以138億美元的估值，進(jìn)行了新一輪融資。

投資者包括Accel、Founders Fund、Index Ventures、Thrive Capital和Greenoaks Capital等。

并且，除了亞馬遜和Meta之外，Scale AI還吸引了各種各樣的新投資者：思科、英特爾、AMD等風(fēng)險(xiǎn)投資部門(mén)參與其中，而且很多注資過(guò)的公司也回歸了，包括英偉達(dá)、Coatue、Y Combinator等等。

就在近期，Wang手下的高管團(tuán)隊(duì)，再度進(jìn)行了調(diào)整。

首席技術(shù)官Arun Murthy將離開(kāi)公司，而去年離開(kāi)風(fēng)投公司Benchmark的前優(yōu)步高管Jason Droege將加入公司擔(dān)任首席戰(zhàn)略官，直接向Wang匯報(bào)。

首席策略官Jason Droege解釋自己為什么要加入Scale AI：這讓我有機(jī)會(huì)參與到我一生中技術(shù)領(lǐng)域最根本的變革中

在Droege看來(lái)，Scale解決了人工智能中最困難的挑戰(zhàn)之一：通過(guò)數(shù)據(jù)改進(jìn)模型。做到這一點(diǎn)需要卓越的人才、復(fù)雜的運(yùn)營(yíng)和對(duì)AI未來(lái)發(fā)展的強(qiáng)烈愿景。雖然團(tuán)隊(duì)迄今已經(jīng)取得了矚目成就，但仍處于起步階段。

2023年上半年開(kāi)始，公司收入激增

這家成立8年的初創(chuàng)公司，一直負(fù)責(zé)合同工的招聘和培訓(xùn)，但尚未實(shí)現(xiàn)盈利。

然而就在今年上半年，它成功改善了運(yùn)營(yíng)的毛利率——每產(chǎn)生1美元收入，只需要花費(fèi)約1.2美元，而在去年上半年，這一數(shù)字為1.5美元。

如今僅考慮業(yè)務(wù)成本（比如合同工的工資），Scale AI保留的收入只有一半。毛利率這一財(cái)務(wù)指標(biāo)，略低于50%。比起2022年上半年約57%的毛利率，這個(gè)數(shù)字有所下降。

這一水平，大大低于科技投資者對(duì)軟件公司的期望。

但盡管如此，5月份的融資還是為Scale AI提供了雄厚的資金實(shí)力。截至上半年末，公司還有約9.8億美元的現(xiàn)金。

從去年上半年開(kāi)始，公司收入就開(kāi)始激增。因?yàn)闃?gòu)建LLM的客戶需要很多合同工，通過(guò)向聊天機(jī)器人提交問(wèn)題、撰寫(xiě)答案，來(lái)訓(xùn)練AI模型。

在給投資者的PPT上，Scale AI自稱是「一個(gè)人機(jī)混合系統(tǒng)，以低成本生產(chǎn)高質(zhì)量數(shù)據(jù)」。

根據(jù)外媒消息，它還通過(guò)一家名為Outlier的子公司，雇傭了數(shù)十萬(wàn)個(gè)小時(shí)工，來(lái)進(jìn)行數(shù)據(jù)微調(diào)。

顯然，Scale AI選擇聚焦LLM客戶，是一種戰(zhàn)略轉(zhuǎn)型。

此前，它還有一項(xiàng)類似業(yè)務(wù)，主要是利用菲律賓和肯尼亞的低成本勞動(dòng)力，為自動(dòng)駕駛汽車(chē)公司標(biāo)注數(shù)據(jù)。但近年來(lái)，這項(xiàng)業(yè)務(wù)的增長(zhǎng)已經(jīng)放緩。

現(xiàn)在，即使雇傭薪酬更高、更專業(yè)的合同工，Scale AI的收入也依然能提高，因?yàn)樗梢詫⑦@些更高的成本轉(zhuǎn)移給客戶。

當(dāng)然，現(xiàn)在Scale AI也并非硅谷投資者眼中穩(wěn)賺不賠的投資。投資者擔(dān)憂的問(wèn)題，包括公司較低的毛利率，以及過(guò)度依賴少數(shù)幾個(gè)大客戶的問(wèn)題。

天才少年輟學(xué)創(chuàng)辦獨(dú)角獸

Scale AI由Alexandr Wang和Lucy Guo于2016年創(chuàng)立，由著名創(chuàng)業(yè)孵化器Y Combinator投資?？蛻舭∕eta、微軟、英偉達(dá)、OpenAI、豐田和哈佛醫(yī)學(xué)院。

2019年，Scale AI成為獨(dú)角獸。

2022年，Alexandr Wang成為全球最年輕的白手起家的億萬(wàn)富翁。

Wang于1997年出生于新墨西哥州，父母都是在新墨西哥州洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室的物理學(xué)家。

高中階段，他開(kāi)始通過(guò)網(wǎng)絡(luò)自學(xué)編程，開(kāi)始參加世界級(jí)編程大賽，如美國(guó)計(jì)算機(jī)奧林匹克競(jìng)賽（USACO）。

17歲，他成為美國(guó)知名問(wèn)答網(wǎng)站Quora的全職碼農(nóng)；18歲，考入麻省理工學(xué)院攻讀機(jī)器學(xué)習(xí)；在MIT大一剛結(jié)束后的暑假，他就和Guo一起創(chuàng)辦了Scale，并且拿到了Y Combinator的投資。

Wang跟爸媽說(shuō)，「這就是我夏天隨便玩玩的事?！?/span>

Scale AI剛起步時(shí)，有些人確實(shí)覺(jué)得這就是一個(gè)笑話，畢竟公司當(dāng)時(shí)只有三名員工。

不過(guò)，在不斷地融資和發(fā)展之下，Scale AI發(fā)展飛速，到2021年已經(jīng)成長(zhǎng)為價(jià)值73億美元的獨(dú)角獸企業(yè)，2023年初公司規(guī)模也擴(kuò)展到了700人。

Wang透露，隨著企業(yè)客戶競(jìng)相訓(xùn)練生成式AI模型，Scale AI的這方面業(yè)務(wù)快速增長(zhǎng)。

2023年，公司年度經(jīng)常性收入增加了兩倍，預(yù)計(jì)2024年底將達(dá)到14億美元。

由于Scale AI的驚人成就，Alexandr Wang已經(jīng)被硅谷公認(rèn)為「下一個(gè)扎克伯格」。

AI模型的「數(shù)據(jù)工廠」

AI領(lǐng)域公認(rèn)的三個(gè)基本支柱——數(shù)據(jù)、算法和算力。

算法領(lǐng)域，前有谷歌、微軟的大型研究院，后有推出過(guò)Sora和GPT系列模型的OpenAI；算力領(lǐng)域有供貨全球的英偉達(dá)，但在Scale AI還未誕生的2016年，數(shù)據(jù)領(lǐng)域仍處于空白。

19歲的Alexandr Wang在看到這一點(diǎn)后，做出了輟學(xué)創(chuàng)業(yè)的決定，「我創(chuàng)辦Scale的原因是為了解決人工智能中的數(shù)據(jù)問(wèn)題」。

大部分?jǐn)?shù)據(jù)都是非結(jié)構(gòu)化的，AI很難直接學(xué)習(xí)這些數(shù)據(jù)；而且大型數(shù)據(jù)集的標(biāo)注一項(xiàng)資源密集型工作，因此，「數(shù)據(jù)」被很多人認(rèn)為是科技領(lǐng)域最辛苦、最卑微的部分。

但Scale AI卻在短時(shí)間內(nèi)就獲得了巨大成功。他們可以為不同行業(yè)的企業(yè)客戶量身定制數(shù)據(jù)服務(wù)。

在自動(dòng)駕駛領(lǐng)域，Cruise和Waymo等公司通過(guò)攝像頭和傳感器收集了大量數(shù)據(jù)，Scale AI將機(jī)器學(xué)習(xí)與「人機(jī)回路」監(jiān)督相結(jié)合，管理和標(biāo)注這些數(shù)據(jù)。

他們?cè)?jīng)開(kāi)發(fā)的「自治數(shù)據(jù)引擎」，甚至推動(dòng)了L4級(jí)自動(dòng)駕駛的發(fā)展。

Wang表示，Scale AI將自己定位為整個(gè)AI生態(tài)的基礎(chǔ)設(shè)施供應(yīng)商，構(gòu)建「數(shù)據(jù)鑄造廠」，而不僅僅是在子公司Remotasks中雇傭大量的合同工進(jìn)行人工標(biāo)注。

他強(qiáng)調(diào)，來(lái)自專家的、包含復(fù)雜推理的數(shù)據(jù)是未來(lái)人工智能的必備條件。

傳統(tǒng)的數(shù)據(jù)來(lái)源，比如從Reddit等社區(qū)的評(píng)論中抓取數(shù)據(jù)存在局限性。Scale AI構(gòu)建了一些流程，模型先輸出一些內(nèi)容，例如撰寫(xiě)研究論文，在此基礎(chǔ)上，人類專家可以改進(jìn)這些內(nèi)容，從而改進(jìn)模型的輸出。

「雖然人工智能生成的數(shù)據(jù)很重要，但想要獲得有一定質(zhì)量和準(zhǔn)確性的數(shù)據(jù)，唯一方法是通過(guò)人類專家的驗(yàn)證?！?/span>

Alexandr Wang在Scale AI的官網(wǎng)上這樣寫(xiě)道，「數(shù)據(jù)豐富不是默認(rèn)情況，而是一種選擇，它需要匯集工程、運(yùn)營(yíng)和AI方面最優(yōu)秀的人才」。

Scale AI的愿景之一是「數(shù)據(jù)豐富」，從而將前沿LLM擴(kuò)展到更大數(shù)量級(jí)，「為通向AGI鋪平道路。在達(dá)到GPT-10的過(guò)程中，我們不應(yīng)該受到數(shù)據(jù)的限制」。

業(yè)內(nèi)盛贊的LLM排行榜更新

Scale AI對(duì)業(yè)界所做的貢獻(xiàn)，不僅是數(shù)據(jù)標(biāo)注這么簡(jiǎn)單。

今年5月，Scale AI重磅推出了全新LLM排行榜——SEAL，開(kāi)始對(duì)前沿模型開(kāi)展專業(yè)性評(píng)估。

對(duì)于這個(gè)榜單，Jim Fan大加贊賞。他認(rèn)為SEAL是LMSys的非常好的補(bǔ)充和參照，提供公開(kāi)模型的私密、安全、可信的第三方評(píng)估。

對(duì)此，Andrej Karpathy也深以為然。

隨著OpenAI最強(qiáng)模型——o1的推出，SEAL排行榜也第一時(shí)間進(jìn)行了評(píng)測(cè)。

除了在高級(jí)編程、數(shù)學(xué)和科學(xué)等領(lǐng)域表現(xiàn)出色之外，o1系列也為「prompt engineering」（提示工程）引入了新的變化。

在工具使用和指令跟隨方面，o1-preview表現(xiàn)出色。而在編程能力方面，o1-mini奪得榜首，o1-preview緊隨其后位居第二。

- 編程排行榜

在SEAL編程排行榜上，o1-mini以1271分的成績(jī)領(lǐng)跑，緊隨其后的是o1-preview，得分為1198。

評(píng)估數(shù)據(jù)集使用了1000個(gè)提示詞，用于測(cè)試各種編程任務(wù)，涵蓋從代碼生成到優(yōu)化和文檔創(chuàng)建等多個(gè)方面。

過(guò)程中，每個(gè)模型的響應(yīng)都會(huì)從正確性、性能和可讀性三個(gè)維度進(jìn)行評(píng)估，綜合運(yùn)用人工審核和代碼執(zhí)行測(cè)試的方法。

- 指令跟隨排行榜

在對(duì)精確指令跟隨能力的評(píng)估中，o1-preview以87.27 分的成績(jī)領(lǐng)先，超越了知名Claude 3.5 Sonnet和Llama 3.1 405B Instruct。

評(píng)估數(shù)據(jù)集包含1054個(gè)跨領(lǐng)域的提示詞，涉及文本生成、頭腦風(fēng)暴和教育支持等多個(gè)方面。

提示工程的變化

與我們熟悉的GPT、Gemini或Claude等模型相比，o1模型的提示詞使用和可操控性明顯不同。

根據(jù)OpenAI的建議，簡(jiǎn)單直接的指令有助于充分發(fā)揮o1的潛力。

與之前的模型不同，用戶應(yīng)避免要求模型進(jìn)行思維鏈推理。他們還指出，提示詞中的無(wú)關(guān)上下文對(duì)o1模型的干擾可能比之前的GPT系列更大，因此在檢索增強(qiáng)生成（RAG）提示中加入一些示例很重要。

Cognition Labs發(fā)現(xiàn)，要求模型「think out loud」（大聲思考）實(shí)際上會(huì)損害性能，而只要求給出最終答案反而會(huì)提高性能，因?yàn)閛1模型無(wú)論如何都會(huì)產(chǎn)生內(nèi)部的思維鏈。他們還指出，冗長(zhǎng)或重復(fù)的指令會(huì)損害性能，而過(guò)于具體的指示似乎會(huì)影響模型的推理能力。

雖然o1在基準(zhǔn)測(cè)試中取得了出色的結(jié)果，但讓它完成你自己的具體任務(wù)似乎需要更多努力——它們往往會(huì)忽視明確（甚至是強(qiáng)調(diào)的）關(guān)于如何解決問(wèn)題的指令。

由此可見(jiàn)，現(xiàn)實(shí)世界的提示和基準(zhǔn)測(cè)試中使用的提示之間，實(shí)際上存在著不小的差距：后者旨在只包含明確的、自包含的、最小呈現(xiàn)的問(wèn)題，沒(méi)有關(guān)于如何解決它們的建議或意見(jiàn)。

需要注意的是，o1-preview響應(yīng)的延遲，特別是其「首個(gè)token的時(shí)間」，明顯高于GPT-4o。不過(guò)，o1-mini用更快的token推理速度彌補(bǔ)了「思考」的時(shí)間。

一些實(shí)測(cè)

- 詞匯約束

在官方示例中，o1在臭名昭著的「strawberry這個(gè)詞中有多少個(gè)R？」等「陷阱」任務(wù)上，有著不小的改進(jìn)。

為了驗(yàn)證這一點(diǎn)，我們向o1-preview提出了一個(gè)新編寫(xiě)的謎語(yǔ)：

「說(shuō)出一個(gè)拉丁語(yǔ)源的英語(yǔ)形容詞，它以相同的字母開(kāi)頭和結(jié)尾，總共有十一個(gè)字母，并且詞中所有元音按字母順序排列。」

在第一次嘗試中，模型成功解決了這個(gè)謎語(yǔ)，答案是：sententious。

但如果反復(fù)提問(wèn)同一個(gè)，o1卻并不能次次做對(duì)：

sententious ?

facetiously ?

transparent ?

abstentious ?

facetiously ?

- 解碼密碼

同樣令人深刻的，還有一個(gè)解碼復(fù)雜密碼的例子。

類似的，我們也嘗試了這個(gè)提示詞的各種變體，包括ROT13密碼、Atbash密碼、Base64編碼、反轉(zhuǎn)字符串等各種組合。

然而，大多數(shù)測(cè)試都不成功——在7次嘗試中，o1-preview只有2次能夠解碼給出的加密信息（《沙丘》中的「迎恐禱詞」（the Litany Against Fear））。

在每個(gè)prompt中，o1都被要求從OpenAI給出的示例中推斷出一種編碼方式。

在以下每個(gè)測(cè)試中，o1都未能在一次嘗試中解碼目標(biāo)消息：

ROT13密碼 → 反轉(zhuǎn)字符串 → Base64編碼 → 反轉(zhuǎn)字符串

ROT13密碼 → Base64編碼 → ROT13密碼 → 反轉(zhuǎn)字符串

ROT13密碼 → Base64編碼 → ROT13密碼

ROT13密碼 → Base64編碼 → Atbash密碼

ROT13密碼 → Base58編碼

在第一次嘗試中成功解碼的兩個(gè)測(cè)試是：

Atbash密碼 → Base64編碼

ROT13密碼 → Base64編碼

這里展示了第一個(gè)成功的例子——其他測(cè)試除了使用的編碼不同外，都是相同的：

結(jié)論

總結(jié)來(lái)看，OpenAI的o1模型在推理能力方面都取得了重大突破，在AIME、Codeforces、Scale的SEAL排行榜等關(guān)鍵基準(zhǔn)測(cè)試中表現(xiàn)出色。

這些結(jié)果表明，o1-preview和o1-mini是解決復(fù)雜推理問(wèn)題的強(qiáng)大工具。然而，要充分發(fā)揮這些模型的潛力，可能需要比用戶習(xí)慣的其他模型發(fā)布更多的實(shí)驗(yàn)和嘗試。