利用IBM WatsonX為企業(yè)和混合云構(gòu)建更好的人工智能
IBM在年度IBM Think大會(huì)上將AI和混合云戰(zhàn)略放到了核心位置。在過(guò)去幾年里,其他廠(chǎng)商一直專(zhuān)注于新AI應(yīng)用面向消費(fèi)者的方面,IBM則一直在開(kāi)發(fā)新一代模型以更好地服務(wù)于企業(yè)客戶(hù)。
IBM前不久宣布推出了用于混合云應(yīng)用的AI開(kāi)發(fā)平臺(tái)watsonx.ai。IBM watsonx AI開(kāi)發(fā)服務(wù)目前處于技術(shù)預(yù)覽階段,將于2023年第三季度全面上市。
AI將成為關(guān)鍵的商業(yè)工具,開(kāi)啟生產(chǎn)力、創(chuàng)造力和價(jià)值創(chuàng)造的新時(shí)代。對(duì)于企業(yè)而言,這不僅僅是通過(guò)云訪(fǎng)問(wèn)大型語(yǔ)言模型(LLM)的新型AI結(jié)構(gòu)。大型語(yǔ)言模型構(gòu)成了ChatGPT等生成式AI產(chǎn)品的基礎(chǔ),但企業(yè)有許多必須考慮的問(wèn)題:數(shù)據(jù)主權(quán)、隱私、安全性、可靠性(無(wú)漂移)、正確性、偏見(jiàn)等。
IBM對(duì)企業(yè)的一項(xiàng)調(diào)查發(fā)現(xiàn),有30%-40%的企業(yè)發(fā)現(xiàn)了AI的商業(yè)價(jià)值,這個(gè)數(shù)字自2017年以來(lái)翻了一番。IBM引用的一項(xiàng)預(yù)測(cè)稱(chēng),到2030年,AI將為全球經(jīng)濟(jì)貢獻(xiàn)16萬(wàn)億美元。該調(diào)查突顯了使用AI提高生產(chǎn)力,除此之外還可以創(chuàng)造更多獨(dú)特的價(jià)值,就像早期沒(méi)有人能預(yù)測(cè)到互聯(lián)網(wǎng)對(duì)未來(lái)的獨(dú)特價(jià)值一樣。AI將通過(guò)提高生產(chǎn)力來(lái)填補(bǔ)企業(yè)與擁有這些技能的人才之間存在的許多技能需求差距。
如今,AI變得更快速、無(wú)錯(cuò)誤以改進(jìn)軟件編程。在Red Hat,IBM的Watson Code Assistant使用了watsonx,通過(guò)預(yù)測(cè)和建議要輸入的下一個(gè)代碼段,使編寫(xiě)代碼變得更容易。AI的這種應(yīng)用非常高效,因?yàn)樗槍?duì)的是Red Hat Ansible自動(dòng)化平臺(tái)中的特定編程模型。Ansible Code Assistant比其他更通用的代碼助手小35倍,因?yàn)樗膬?yōu)化程度更高。
另一個(gè)例子是SAP,SAP將整合Watson服務(wù)處理以支持SAP Start中的數(shù)字助理。SAP Start中的新AI功能將通過(guò)自然語(yǔ)言功能和使用IBM Watson AI解決方案的預(yù)測(cè)洞察力,幫助提高用戶(hù)生產(chǎn)力。SAP發(fā)現(xiàn),AI可以回答高達(dá)94%的查詢(xún)請(qǐng)求。
為watsonx注入生命力
IBM AI開(kāi)發(fā)堆棧分為三個(gè)部分:watsonx.ai、watsonx.data和watsonx.governance。這些watsonx組件旨在協(xié)同工作,也可以與第三方集成一起使用,例如來(lái)自HuggingFace的開(kāi)源AI模型。此外,watsonx可以在多種云服務(wù)(包括IBM Cloud、AWS和Azure)和本地服務(wù)器上運(yùn)行。
帶有watson.ai、watsonx.data和watsonx.governance的IBM watsonx平臺(tái)
Watsonx平臺(tái)以即服務(wù)的形式交付,支持混合云部署。數(shù)據(jù)科學(xué)家借助這些工具就可以對(duì)自定義AI模型進(jìn)行快速工程設(shè)計(jì)和調(diào)整,隨后這些模型成為企業(yè)業(yè)務(wù)流程的關(guān)鍵引擎。
watsonx.data服務(wù)使用開(kāi)放表存儲(chǔ)以允許將多個(gè)來(lái)源的數(shù)據(jù)連接到watsonx的其余部分,管理用于訓(xùn)練watsonx模型的數(shù)據(jù)的生命周期。
watsonx.governance服務(wù)用于管理模型生命周期,在使用新數(shù)據(jù)訓(xùn)練和完善模型時(shí)對(duì)模型應(yīng)用進(jìn)行主動(dòng)治理。
該產(chǎn)品的核心是watsonx.ai,開(kāi)發(fā)工作就在這里進(jìn)行。如今,IBM自身已經(jīng)開(kāi)發(fā)了20種基礎(chǔ)模型(FM),它們具有不同的架構(gòu)、模式和規(guī)模。除此之外,還有在watsonx平臺(tái)上可用的HuggingFace開(kāi)源模型。IBM預(yù)計(jì)一些客戶(hù)將自己開(kāi)發(fā)應(yīng)用,由IBM提供咨詢(xún)服務(wù)以幫助選擇正確的模型、對(duì)客戶(hù)數(shù)據(jù)進(jìn)行再培訓(xùn),并在需要時(shí)幫助加速開(kāi)發(fā)。
運(yùn)行在Red Hat OpenShift上的IBM watsonx.ai軟件棧
IBM花費(fèi)三年多時(shí)間研究開(kāi)發(fā)watsonx平臺(tái)。IBM甚至構(gòu)建了代號(hào)“Vela”的AI超級(jí)計(jì)算機(jī),研究構(gòu)建基礎(chǔ)模型的有效系統(tǒng)架構(gòu),并在發(fā)布watsonx之前構(gòu)建了自己的模型庫(kù)。IBM充當(dāng)AI平臺(tái)自己的“客戶(hù)0”。
與使用標(biāo)準(zhǔn)以太網(wǎng)網(wǎng)絡(luò)交換機(jī)(而不是使用更昂貴的Nvidia/Mellanox交換機(jī))的傳統(tǒng)AI超級(jí)計(jì)算機(jī)相比,Vela架構(gòu)的構(gòu)建更容易、成本更低,如果客戶(hù)想在他們的環(huán)境中運(yùn)行watsonx,則可能更容易復(fù)制。此外,PyTorch還針對(duì)IBM Vela AI超級(jí)計(jì)算機(jī)架構(gòu)進(jìn)行了優(yōu)化。IBM發(fā)現(xiàn)在Vela上運(yùn)行虛擬化只有5%的性能開(kāi)銷(xiāo)。
IBM watsonx支持IBM基于Red Hat OpenShift的混合云戰(zhàn)略承諾。watsonx AI開(kāi)發(fā)平臺(tái)在IBM云或者其他公有云(如AWS)或客戶(hù)場(chǎng)所運(yùn)行,即使存在不允許使用公共AI工具的業(yè)務(wù)限制,企業(yè)也可以利用這一最新的AI技術(shù),IBM真正地把領(lǐng)先的AI和混合云與watsonx結(jié)合在了一起。
watsonx是IBM的AI開(kāi)發(fā)和數(shù)據(jù)平臺(tái),用于大規(guī)模交付AI。Watson品牌下的產(chǎn)品都是具有AI專(zhuān)長(zhǎng)的數(shù)字勞動(dòng)力產(chǎn)品,其他Watson品牌產(chǎn)品包括Watson Assistant、Watson Orchestrate、Watson Discovery和Watson Code Assistant(以前的Project Wisdom)。IBM將更加關(guān)注Watson品牌,已經(jīng)把以前的Watson Studio產(chǎn)品整合到watsonx.ai中,以支持新的基礎(chǔ)模型開(kāi)發(fā)和訪(fǎng)問(wèn)傳統(tǒng)機(jī)器學(xué)習(xí)功能。
基礎(chǔ)模型和大型語(yǔ)言模型
在過(guò)去的10年中,深度學(xué)習(xí)模型基于每個(gè)應(yīng)用中的大量標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練。這種方法是不可擴(kuò)展的?;A(chǔ)模型和大型語(yǔ)言模型接受大量未標(biāo)記數(shù)據(jù)的訓(xùn)練,這些數(shù)據(jù)更容易收集,然后可以使用這些新的基礎(chǔ)模型來(lái)執(zhí)行多項(xiàng)任務(wù)。
對(duì)于這種利用預(yù)訓(xùn)練模型執(zhí)行多項(xiàng)任務(wù)的新型AI,實(shí)際上使用“大型語(yǔ)言模型”這個(gè)術(shù)語(yǔ)是有些不當(dāng)?shù)摹J褂谩罢Z(yǔ)言”,則意味著該技術(shù)僅適用于測(cè)試,但模型可以由代碼、圖形、化學(xué)反應(yīng)等組成。IBM對(duì)這些大型預(yù)訓(xùn)練模型使用的術(shù)語(yǔ)更具描述性,也就是“基礎(chǔ)模型”。通過(guò)使用基礎(chǔ)模型,訓(xùn)練大量數(shù)據(jù)以生成特定的模型,然后可以按原樣使用此基礎(chǔ)模型,或者針對(duì)特定進(jìn)行調(diào)整。通過(guò)為應(yīng)用調(diào)整基礎(chǔ)模型,還可以設(shè)置適當(dāng)?shù)南拗撇⒅苯邮鼓P透杏锰?。此外,基礎(chǔ)模型還可以用于加快非生成式AI應(yīng)用(如數(shù)據(jù)分類(lèi)和過(guò)濾)的迭代。
許多大型語(yǔ)言的規(guī)模很大,而且規(guī)模越來(lái)越大,因?yàn)檫@些模型試圖對(duì)每種數(shù)據(jù)都進(jìn)行訓(xùn)練,以便可以用于任何潛在的開(kāi)放領(lǐng)域。在企業(yè)環(huán)境中,這種方法通常是矯枉過(guò)正的,并且可能會(huì)遇到擴(kuò)展方面的問(wèn)題,而通過(guò)正確地選擇合適的數(shù)據(jù)集,并將其應(yīng)用于正確類(lèi)型的模型,則可以讓最終模型變得更高效,這個(gè)新模型也可以通過(guò)IBM watsonx.governance清除任何偏見(jiàn)、版權(quán)材料等。
小結(jié)
IBM Think大會(huì)期間,AI被號(hào)稱(chēng)正處于“Netscape時(shí)刻”,這個(gè)比喻指的是當(dāng)更廣泛受眾接觸到互聯(lián)網(wǎng)時(shí)所達(dá)到的一個(gè)分水嶺時(shí)刻。ChatGPT向更廣泛的受眾展示了生成式AI,但仍然需要企業(yè)可以依賴(lài)且可以控制的、負(fù)責(zé)任的AI。
正如Dario Gil在他的閉幕主題演講中所說(shuō):“不要將您的AI策略外包給API調(diào)用。” HuggingFace公司首席執(zhí)行官也表達(dá)了同樣的觀點(diǎn):要有你自己的模型,不要租用別人的模型。IBM正在給企業(yè)提供工具來(lái)構(gòu)建負(fù)責(zé)任的、高效的AI,并讓他們擁有自己的模型。