端到端加速企業(yè)GenAI創(chuàng)新,英偉達(dá)NIM微服務(wù)成為軟件企業(yè)看中的亮點!
原創(chuàng)3月20日,軟件開發(fā)企業(yè)Cloudera宣布了一項重要的合作信號:要與NVIDIA一起加速生成式AI應(yīng)用的部署。具體來講,就是通過將NVIDIA的AI微服務(wù)集成到其Cloudera數(shù)據(jù)平臺(CDP)中,幫助企業(yè)能夠快速構(gòu)建和擴(kuò)展基于自身數(shù)據(jù)的定制化大型語言模型(LLMs)。
此次合作中,Cloudera將利用NVIDIA AI Enterprise,包括NVIDIA Inference Manager(NIM)微服務(wù),解鎖CDP中超過25E字節(jié)數(shù)據(jù)的洞察。這些豐富的企業(yè)信息將輸入到Cloudera機(jī)器學(xué)習(xí)平臺中,該平臺是公司的端到端AI工作流程服務(wù),將推動新一輪的生成式AI創(chuàng)新。
Cloudera的AI/ML產(chǎn)品副總裁Priyank Patel表示:“企業(yè)數(shù)據(jù)結(jié)合為大型語言模型優(yōu)化的全棧平臺,在將組織的生成式AI應(yīng)用從試點推向生產(chǎn)方面起著至關(guān)重要的作用。Cloudera正在集成NVIDIA NIM和CUDA-X微服務(wù),以驅(qū)動Cloudera機(jī)器學(xué)習(xí)平臺,幫助客戶將AI的炒作轉(zhuǎn)變?yōu)樯虡I(yè)現(xiàn)實?!?/p>
此次合作不僅展示了Cloudera和NVIDIA在技術(shù)創(chuàng)新上的實力,也反映了市場對生成式AI應(yīng)用的需求正在快速增長。通過整合雙方的資源和技術(shù)優(yōu)勢,雙方共同推動AI在企業(yè)中的實際應(yīng)用,為企業(yè)帶來更高效、更智能的解決方案。
此外,通過利用CDP中的海量數(shù)據(jù),結(jié)合Cloudera機(jī)器學(xué)習(xí)平臺的強(qiáng)大功能,企業(yè)能夠更深入地挖掘數(shù)據(jù)的價值,實現(xiàn)更精準(zhǔn)的決策和更高效的業(yè)務(wù)運(yùn)營。這一合作將為企業(yè)帶來更加智能化、自動化的未來,推動整個行業(yè)的發(fā)展和進(jìn)步。
1.連接模型與數(shù)據(jù)
在連接模型與數(shù)據(jù)之間,企業(yè)AI面臨著一個關(guān)鍵挑戰(zhàn),即如何將基礎(chǔ)模型與相關(guān)的業(yè)務(wù)數(shù)據(jù)連接起來,以生成準(zhǔn)確、符合上下文的輸出。NVIDIA的NIM和NeMo Retriever微服務(wù)旨在通過使開發(fā)者能夠?qū)LMs(大型語言模型)與從文本文檔到圖像和可視化等結(jié)構(gòu)化和非結(jié)構(gòu)化企業(yè)數(shù)據(jù)連接起來,從而彌合這一差距。
具體來說,Cloudera Machine Learning將提供集成的NIM模型服務(wù)功能,以增強(qiáng)推理性能,并在混合和多云環(huán)境中實現(xiàn)容錯、低延遲和自動擴(kuò)展。而NeMo Retriever的加入將簡化檢索增強(qiáng)生成(RAG)應(yīng)用程序的開發(fā),這種應(yīng)用程序通過實時檢索相關(guān)數(shù)據(jù)來提高生成式AI的準(zhǔn)確性。
其中,NVIDIA NeMo Retriever是NVIDIA NeMo框架和工具系列的一項全新服務(wù)。NeMo是一個用于構(gòu)建、自定義和部署生成式AI模型的框架和工具系列。作為一項語義檢索微服務(wù),NeMo Retriever借助經(jīng)NVIDIA優(yōu)化的算法,幫助生成式AI應(yīng)用作出更加準(zhǔn)確的回答。使用該微服務(wù)的開發(fā)者可以將其AI應(yīng)用與位于各個云和數(shù)據(jù)中心的業(yè)務(wù)數(shù)據(jù)相連通。這種連接不僅增強(qiáng)了AI應(yīng)用的準(zhǔn)確性,還使得開發(fā)者能夠更靈活地處理和利用企業(yè)數(shù)據(jù)。
概括來說,NVIDIA的NIM和NeMo Retriever等微服務(wù)為企業(yè)提供了一種有效的方式,將AI模型與業(yè)務(wù)數(shù)據(jù)緊密地結(jié)合在一起,從而生成更加準(zhǔn)確和有用的輸出。這為企業(yè)提供了強(qiáng)大的工具,可以進(jìn)一步推動AI在各個領(lǐng)域的應(yīng)用和發(fā)展。
2.數(shù)據(jù)到生成式AI部署,大大縮短時間
NVIDIA與Cloudera的合作正在為企業(yè)打開一扇全新的大門,引領(lǐng)他們更高效地利用海量數(shù)據(jù)來構(gòu)建定制化的協(xié)同助手和生產(chǎn)力工具。NVIDIA企業(yè)產(chǎn)品副總裁Justin Boitano表示:“NVIDIA NIM微服務(wù)與Cloudera數(shù)據(jù)平臺的集成,為開發(fā)者提供了一種更加靈活和簡便的方式來部署大型語言模型,從而推動企業(yè)的業(yè)務(wù)轉(zhuǎn)型?!?/p>
通過簡化從數(shù)據(jù)到生成式AI部署的路徑,Cloudera和NVIDIA旨在加速企業(yè)對諸如編碼助手、聊天機(jī)器人、文檔摘要工具和語義搜索工具等變革性應(yīng)用的采納。這一合作建立在兩家公司之前通過將NVIDIA RAPIDS集成到CDP中利用GPU加速的基礎(chǔ)上。
Patel強(qiáng)調(diào)了擴(kuò)大合作帶來的業(yè)務(wù)好處,他指出:“除了為客戶提供強(qiáng)大的生成式AI能力和性能外,此次集成的結(jié)果還將使企業(yè)能夠做出更準(zhǔn)確、更及時的決策,同時減少預(yù)測中的不準(zhǔn)確性、幻覺和錯誤——這些都是在當(dāng)今數(shù)據(jù)環(huán)境中導(dǎo)航的關(guān)鍵因素?!?/p>
Cloudera將在3月18日至21日于加利福尼亞州圣何塞舉行的NVIDIA GTC上展示其新的生成式AI能力。隨著領(lǐng)先企業(yè)探索基礎(chǔ)模型改變其運(yùn)營的潛力,Cloudera和NVIDIA堅信他們的合作將使客戶站在企業(yè)AI新興時代的前沿。