紅帽用RHEL AI和OpenShift AI塑造開源AI的未來
原創(chuàng)發(fā)展至今,AI技術(shù)對(duì)工作方式、決策過程乃至商業(yè)模式的重塑已經(jīng)逐漸具象化。
紅帽,作為開源解決方案的領(lǐng)軍企業(yè),在近日的在Red Hat Summit上,紅帽展示了從RHEL AI的推出到InstructLab模型對(duì)齊工具的集成,再到OpenShift AI的混合云能力。
“這讓我想起了90年代末對(duì)Linux潛力的感受,那時(shí)候還只是起步階段,但你能夠直覺地感覺到這將會(huì)帶來重大的變化?!奔t帽總裁兼CEO Matt Hicks對(duì)于InstructLab模型對(duì)齊工具的引入特別感到興奮,他預(yù)見到這項(xiàng)技術(shù)將為AI的未來帶來深遠(yuǎn)的影響。
紅帽總裁兼CEO Matt Hicks
RHEL AI的突破與開源AI的未來
此次發(fā)布的Linux AI(RHEL AI)是一個(gè)基礎(chǔ)模型平臺(tái),能夠使用戶更加便捷地開發(fā)、測(cè)試和部署生成式人工智能(GenAI)模型。
RHEL AI的推出背景,源于企業(yè)對(duì)于AI應(yīng)用的不斷增長的需求,以及對(duì)于開源解決方案的信任和依賴。企業(yè)正在尋求能夠降低AI技術(shù)門檻、提高開發(fā)效率的工具和平臺(tái),而RHEL AI正是在這樣的市場(chǎng)需求下應(yīng)運(yùn)而生。它整合了IBM研究院的開源授權(quán)Granite大型語言模型(LLM)系列、基于大規(guī)模對(duì)話機(jī)器人對(duì)齊(LAB)方法的InstructLab模型對(duì)齊工具,以及通過InstructLab項(xiàng)目實(shí)施的社區(qū)驅(qū)動(dòng)模型開發(fā)方法。該解決方案被封裝成一個(gè)優(yōu)化的、可啟動(dòng)的RHEL鏡像,用于在混合云環(huán)境中部署單個(gè)服務(wù)器,并已集成到OpenShift AI中。RHEL AIOpenShift AI是紅帽的混合機(jī)器學(xué)習(xí)運(yùn)營(MLOps)平臺(tái),能夠在分布式集群環(huán)境中大規(guī)模運(yùn)行模型和InstructLab。
Granite LLM是IBM研究院開源授權(quán)的一系列大型語言模型,它們?cè)谧匀徽Z言處理領(lǐng)域具有強(qiáng)大的能力。而InstructLab模型對(duì)齊工具則為開發(fā)者提供了一種新的工作方式,通過簡化LLM的創(chuàng)建、構(gòu)建和貢獻(xiàn)過程,使得開發(fā)者能夠更加靈活和高效地進(jìn)行AI模型的開發(fā)。這種整合不僅提升了RHEL AI的技術(shù)實(shí)力,也為開源AI社區(qū)帶來了新的動(dòng)力。
Matt Hicks介紹,與IBM的合作始于IBM研究院的一次關(guān)鍵會(huì)議,會(huì)上介紹了包括指導(dǎo)技術(shù)和方法在內(nèi)的創(chuàng)新技術(shù),這些技術(shù)旨在解決客戶在微調(diào)AI模型時(shí)遇到的挑戰(zhàn),特別是通過使用合成數(shù)據(jù)增強(qiáng)技術(shù)來保持?jǐn)?shù)據(jù)貢獻(xiàn)的小型化。這種方法不僅使得數(shù)據(jù)塊更易于管理,而且促進(jìn)了更廣泛的協(xié)作。
紅帽認(rèn)識(shí)到,圍繞這些技術(shù)建立社區(qū),可以匯聚全球的創(chuàng)新力量。這一愿景與Hugging Face在數(shù)據(jù)集領(lǐng)域的成就相似,但紅帽更進(jìn)一步,將重點(diǎn)放在了知識(shí)和技能的聚合上。僅幾個(gè)月的時(shí)間,紅帽的概念驗(yàn)證和模式已在多個(gè)場(chǎng)景中得到成功應(yīng)用和擴(kuò)展,證明了這一方法的有效性。
開源AI模型在企業(yè)中的應(yīng)用和創(chuàng)新推動(dòng)是RHEL AI的另一大看點(diǎn)。開源模型的靈活性和透明性,使得企業(yè)能夠根據(jù)自身的特定需求進(jìn)行定制和優(yōu)化。紅帽通過RHEL AI平臺(tái),鼓勵(lì)和支持企業(yè)利用開源AI模型進(jìn)行創(chuàng)新。這不僅有助于企業(yè)快速響應(yīng)市場(chǎng)變化,也促進(jìn)了企業(yè)內(nèi)部的技術(shù)積累和人才培養(yǎng)。
混合云戰(zhàn)略與AI的深度融合
在數(shù)字化轉(zhuǎn)型的浪潮中,混合云作為一種靈活、高效的IT架構(gòu),已經(jīng)成為企業(yè)IT戰(zhàn)略的核心組成部分。
紅帽,通過其OpenShift平臺(tái),為混合云環(huán)境提供了強(qiáng)大的支持。紅帽O(jiān)penShift AI是基于紅帽O(jiān)penShift而構(gòu)建的開放式混合人工智能(AI)和機(jī)器學(xué)習(xí)(ML)平臺(tái),幫助企業(yè)在混合云環(huán)境中大規(guī)模創(chuàng)建并交付人工智能支持的應(yīng)用。
那為什么構(gòu)建一個(gè)堅(jiān)實(shí)的混合云基礎(chǔ)對(duì)企業(yè)AI至關(guān)重要呢?
Matt Hicks指出,企業(yè)在AI應(yīng)用上正經(jīng)歷著一場(chǎng)顯著的行業(yè)轉(zhuǎn)變。傳統(tǒng)上,企業(yè)嘗試使用較小規(guī)模的AI模型進(jìn)行微調(diào)和訓(xùn)練,但往往效果并不理想。面對(duì)這一挑戰(zhàn),許多企業(yè)轉(zhuǎn)向了所謂的“全知模型”——這些通常是在公共云上運(yùn)行的、參數(shù)量超過一萬億的大型模型。雖然這些模型功能強(qiáng)大,能夠開箱即用地完成多種任務(wù),但它們的運(yùn)行和訓(xùn)練成本卻非常高昂。
更重要的是,當(dāng)AI模型被限制在云環(huán)境中時(shí),它們無法滿足那些需要在本地設(shè)備上運(yùn)行的用例。Matt Hicks以個(gè)人為例,說明了在自己的筆記本電腦上運(yùn)行AI模型如何提升編程和寫作的效率,同時(shí)保證數(shù)據(jù)的隱私和安全。然而,如果這些模型僅限于云工作流,它們就無法實(shí)現(xiàn)這種個(gè)性化的增強(qiáng)。
紅帽認(rèn)為,為了充分發(fā)揮AI的潛力,混合云的功能至關(guān)重要。這意味著AI模型需要能夠在多種環(huán)境中運(yùn)行,包括筆記本電腦、工廠邊緣設(shè)備、汽車以及數(shù)據(jù)中心。為了實(shí)現(xiàn)這一點(diǎn),小型模型必須經(jīng)過改進(jìn),以更好地適應(yīng)各種實(shí)際任務(wù)。這就需要在特定用例上完成模型的最后階段訓(xùn)練,確保模型能夠精準(zhǔn)地解決具體問題。
正是基于這樣的認(rèn)識(shí),紅帽集成了InstructLab。Matt Hicks強(qiáng)調(diào),僅僅發(fā)布一個(gè)參數(shù)量龐大的模型是不夠的。紅帽的愿景是使客戶能夠在各種設(shè)備上——無論是筆記本電腦、邊緣設(shè)備、汽車還是數(shù)據(jù)中心——根據(jù)自己的具體應(yīng)用場(chǎng)景來訓(xùn)練和部署AI模型。這種靈活性和可定制性是紅帽在AI領(lǐng)域的核心優(yōu)勢(shì),也是其混合云戰(zhàn)略的關(guān)鍵組成部分。
負(fù)責(zé)任的AI與開源社區(qū)的協(xié)作
在AI技術(shù)飛速發(fā)展的今天,負(fù)責(zé)任的AI(Responsible AI)成為了全球技術(shù)社區(qū)和企業(yè)關(guān)注的焦點(diǎn)。紅帽,作為開源文化和企業(yè)IT解決方案的領(lǐng)軍者,對(duì)于推動(dòng)負(fù)責(zé)任AI的實(shí)踐和社區(qū)協(xié)作扮演著重要角色。正如Matt Hicks所指出的,“負(fù)責(zé)任的AI是一個(gè)廣泛的話題”,紅帽從多個(gè)關(guān)鍵領(lǐng)域著手,確保AI系統(tǒng)的安全性和倫理性。
首先是對(duì)AI技術(shù)全生命周期的考量,從數(shù)據(jù)的收集和訓(xùn)練,到模型的部署和監(jiān)控。紅帽認(rèn)識(shí)到,AI系統(tǒng)的訓(xùn)練和應(yīng)用需要處理大量數(shù)據(jù),這些數(shù)據(jù)往往涉及版權(quán)和隱私問題。因此,紅帽致力于確保AI模型的訓(xùn)練數(shù)據(jù)尊重原創(chuàng)者的版權(quán),遵守開源許可證的要求,保護(hù)數(shù)據(jù)的可追溯性和透明性。
AI模型的訓(xùn)練依賴于大量的數(shù)據(jù),這些數(shù)據(jù)可能來自不同的來源,包括開源社區(qū)。紅帽在處理訓(xùn)練數(shù)據(jù)時(shí),特別關(guān)注版權(quán)和許可證的問題。紅帽通過提供透明的數(shù)據(jù)來源和使用情況,確保其AI產(chǎn)品尊重并保護(hù)數(shù)據(jù)創(chuàng)作者的權(quán)益。此外,紅帽還積極參與到開源社區(qū)中,推動(dòng)對(duì)數(shù)據(jù)使用和版權(quán)問題的討論和規(guī)范制定,以促進(jìn)一個(gè)健康、可持續(xù)的AI生態(tài)系統(tǒng)。
安全性是AI應(yīng)用中不可忽視的一環(huán)。紅帽通過建立和維護(hù)安全框架,來應(yīng)對(duì)AI模型可能面臨的安全威脅。這包括但不限于數(shù)據(jù)泄露、模型欺騙等風(fēng)險(xiǎn)。紅帽與開源社區(qū)緊密合作,共同開發(fā)和實(shí)施安全措施,以提高AI系統(tǒng)的安全性。通過社區(qū)的力量,紅帽不僅能夠快速響應(yīng)新出現(xiàn)的安全威脅,還能夠持續(xù)改進(jìn)和更新安全防護(hù)措施,確保AI技術(shù)的安全可靠。
在紅帽的視角中,負(fù)責(zé)任的AI不僅僅是技術(shù)的創(chuàng)新,更是對(duì)社會(huì)責(zé)任的承擔(dān)。如Matt Hicks提到的,紅帽致力于“fostering a community-based approach”來確保AI模型的安全紅帽通過其在開源社區(qū)的領(lǐng)導(dǎo)地位,推動(dòng)了負(fù)責(zé)任AI的實(shí)踐,并與社區(qū)成員一起,共同構(gòu)建一個(gè)更加安全、透明、可信賴的AI技術(shù)環(huán)境。