挑戰(zhàn)OpenAI!以色列AI21 Labs推最新語言模型:侏羅紀(jì)-X
最近,AI21 Labs完成了6400萬美元的B輪融資,公司估值為6.64億美元。本輪融資由阿倫創(chuàng)新資本基金牽頭,Mobileye首席執(zhí)行官兼聯(lián)合創(chuàng)始人Amnon Shashua、Walden Catalyst、Pitango、TPY Capital和Mark Leslie參與,使得A21 Labs的總?cè)谫Y額達(dá)到1.185億美元。
AI21 Labs由Goshen、Shashua和斯坦福大學(xué)教授Yoav Shoham于2017年共同創(chuàng)立。該公司的第一款產(chǎn)品是Wordtune,這是一種人工智能驅(qū)動的寫作輔助工具,旨在與Grammarly競爭,它在用戶輸入內(nèi)容時給予新的措辭建議。去年8月,AI21發(fā)布了平臺AI Studio,并推出了對于Jurassic-1模型「即用即付 」的服務(wù)-開發(fā)者可以根據(jù)其要求的獨(dú)特?cái)?shù)據(jù)集進(jìn)行定制模型以及微調(diào)。
Jurassic-1系列模型可用于轉(zhuǎn)述(如從產(chǎn)品描述中生成簡短的產(chǎn)品名稱),從文本中提取數(shù)字,按主題或類別標(biāo)記電子郵件和筆記。這些模型還可以通過Wordtune中被稱為Wordtune Read的功能來總結(jié)內(nèi)容,包括文章、報(bào)告和PDF文件的片段。
然而由于語言模型是被互聯(lián)網(wǎng)上的大量數(shù)據(jù)(包括社交媒體)訓(xùn)練出來的,因此它們能夠根據(jù)在訓(xùn)練過程中遇到的類似語言生成有毒和有偏見的文本。AI21 Labs的模型也不例外。
雖然AI21 Labs要求客戶同意使用條款政策和使用指南,但它還沒有對其API產(chǎn)生的潛在有毒內(nèi)容實(shí)施過濾。對此,AI21 Labs表示其模型比GPT-3「略微少一些偏見」,并說他們在手動審查并微調(diào)模型以打擊濫用。
而據(jù)Goshen說,Jurassic-1模型的最新版本Jurassic-X使用了所謂的「模塊化推理知識系統(tǒng)」,用在線計(jì)算器和貨幣轉(zhuǎn)換器等「離散推理專家」來增強(qiáng)其答案。Jurassic-X可以回答用自然語言表述的「非平凡」數(shù)學(xué)運(yùn)算,以及簡化可能絆倒其他語言模型的「復(fù)雜」問題。相較于Jurassic-1,Jurrasic-X克服了前身模型不擅于推理、更新昂貴、不能有效處理時序數(shù)據(jù)等缺點(diǎn)。
當(dāng)然,值得注意的是,AI21 Labs還沒有委托對其Jurassic-X模型與其他商業(yè)語言模型進(jìn)行比較,所以目前的全部依據(jù)僅來自聲明。
該公司最近的營銷噱頭并沒有給人帶來巨大的信心,相反令人質(zhì)疑。6月,AI21 Labs推出了一個以已故最高法院法官露絲-巴德-金斯伯格(Ruth Bader Ginsburg)的法律意見為模型的聊天機(jī)器人。然而一些人工智能技術(shù)專家將其定性為誤導(dǎo)。AI21 Labs在回應(yīng)批評時表示,該聊天機(jī)器人「只是一個實(shí)驗(yàn)」,并承認(rèn)它可以給出不準(zhǔn)確的回答,應(yīng)該「謹(jǐn)慎對待」。
對于此輪融資,Goshen表示,新資金將用于研發(fā),特別是開發(fā)更大、更復(fù)雜的語言模型,以及招聘人才。AI21 Labs目前擁有120名員工,他們計(jì)劃在今年年底前再招聘約50名員工,以對抗宏觀經(jīng)濟(jì)趨勢。
當(dāng)被問及收入時,Goshen拒絕透露確切的數(shù)字,以及對增長的估計(jì)。他表示,Studio有數(shù)百個「付費(fèi)客戶和設(shè)計(jì)合作伙伴」,但他也不愿意透露這些人的名字。此外他還說有超過1萬名免費(fèi)計(jì)劃的用戶,而Wordtune則有「數(shù)百萬」用戶。
鑒于訓(xùn)練復(fù)雜模型的成本,投資者可能面臨巨大的擴(kuò)張壓力。
AI21 Labs自己的研究表明,開發(fā)一個具有15億個參數(shù)(即模型用于生成和分析文本的變量)的文本生成模型的費(fèi)用高達(dá)160萬美元。而Jurassic-1模型包含了1780億個參數(shù),這還不包括為模型提供服務(wù)的托管費(fèi)用;AI21 Labs 表示,它保留了美國和國外「幾家」第三方云提供商的服務(wù)。
「缺乏市場知識是因?yàn)檎Z言模型技術(shù)還是新生并且剛被采用?!笹oshen說,「有了新的資金,AI21 Labs將繼續(xù)履行其使命來建立具有前所未有的自然語言理解和生成能力的AI系統(tǒng)?!?/span>
「隨著越來越多的公司遷移到遠(yuǎn)程工作,人們需要用文字傳達(dá)他們通常會口頭分享的內(nèi)容。我們專有的大型語言模型的核心能力允許攝取大量的企業(yè)數(shù)據(jù)使用......自定義的內(nèi)容創(chuàng)建、總結(jié)和分類?!?/span>
你看好AI21嗎?