【51CTO.com原創(chuàng)稿件】　　AI發(fā)展至今歷經(jīng)數(shù)次起伏，關(guān)于AI 應(yīng)用的落地也一直伴隨爭議。但不可否認(rèn)的是，在企業(yè)數(shù)字化轉(zhuǎn)型過程中，AI能力必不可少。為了讓 AI 在企業(yè)智能化進(jìn)程中發(fā)揮價(jià)值，必須具備集應(yīng)用、數(shù)據(jù)、算力為一體的能力模型。三者相輔相成，互為聯(lián)接，任一環(huán)節(jié)的缺失都會(huì)影響到最終結(jié)果。沒有應(yīng)用，海量數(shù)據(jù)會(huì)淪為死數(shù)據(jù)，算力也無法產(chǎn)生價(jià)值。但事實(shí)上，AI落地的速度遠(yuǎn)落后于數(shù)據(jù)的增速和算力的投入。而第四范式的目標(biāo)就是要解決AI應(yīng)用門檻高對(duì)三者聯(lián)接的阻塞。

　　AI落地“三大屏障”：應(yīng)用、數(shù)據(jù)、算力

　　自動(dòng)機(jī)器學(xué)習(xí)（AutoML）技術(shù)可以把特征提取、模型選擇、參數(shù)調(diào)節(jié)等機(jī)器學(xué)習(xí)的復(fù)雜過程實(shí)現(xiàn)自動(dòng)化。這種技術(shù)無疑有利于降低機(jī)器學(xué)習(xí)應(yīng)用于現(xiàn)實(shí)問題的難度，因此近年來一直是人工智能業(yè)界最為熱門的領(lǐng)域之一。第四范式自成立以來就致力于研發(fā)能快速構(gòu)建AI應(yīng)用的自動(dòng)機(jī)器學(xué)習(xí)技術(shù)，如今又努力將這種自動(dòng)化能力拓展到AI應(yīng)用的大多數(shù)環(huán)節(jié)。

　　數(shù)據(jù)是整個(gè)AI系統(tǒng)運(yùn)轉(zhuǎn)的“原料”，沒有數(shù)據(jù)，AI應(yīng)用就是無本之木。但是數(shù)據(jù)治理的過程又極其艱難，要占據(jù)數(shù)據(jù)科學(xué)家絕大多數(shù)的時(shí)間和精力。但如果有了數(shù)據(jù)形式，就可以更快地將原始數(shù)據(jù)變成AI ready的數(shù)據(jù)，一鍵開啟建模和應(yīng)用。為此，第四范式開創(chuàng)了“數(shù)據(jù)形式”方法論，每一個(gè)數(shù)據(jù)形式，定義了相應(yīng)業(yè)務(wù)場景里所需的數(shù)據(jù)標(biāo)準(zhǔn)，包括需要什么樣的數(shù)據(jù)、從哪里去取，應(yīng)該如何處理。

　　除了應(yīng)用的快速構(gòu)建，數(shù)據(jù)的輕松使用，算力價(jià)值的發(fā)揮也至關(guān)重要。越來越多AI異構(gòu)芯片的出現(xiàn)，加速了AI異構(gòu)計(jì)算芯片對(duì)操作系統(tǒng)內(nèi)核進(jìn)行管理的細(xì)分需求。為此，第四范式研究人員打造了AI異構(gòu)資源調(diào)度與管理平臺(tái)AIOS Kernel，實(shí)現(xiàn)了動(dòng)態(tài)調(diào)度和虛擬化算力資源功能，有助于最大限度發(fā)揮算力價(jià)值。

　　“三大聯(lián)邦”賦能企業(yè)AI轉(zhuǎn)型

　　在年度發(fā)布會(huì)上，第四范式的企業(yè)級(jí)AI操作系統(tǒng)Sage AIOS 升級(jí)到了2.0版。同時(shí)，第四范式以企業(yè)級(jí)智能應(yīng)用市場4Paradigm Sage App Store為平臺(tái)基礎(chǔ)，擴(kuò)展為應(yīng)用聯(lián)邦、數(shù)據(jù)聯(lián)邦、算力聯(lián)邦三大網(wǎng)絡(luò)，全面加速企業(yè)的智能化轉(zhuǎn)型。

　　基于應(yīng)用聯(lián)邦，企業(yè)可以基于數(shù)據(jù)和算力共享的應(yīng)用快速組裝個(gè)性化的智能方案，加快智能化的速度；

　　基于數(shù)據(jù)聯(lián)邦，企業(yè)可以安全保護(hù)數(shù)據(jù)隱私的情況下更好地利用數(shù)據(jù)，提升業(yè)務(wù)價(jià)值；

　　基于算力聯(lián)邦，企業(yè)可以屏蔽掉異構(gòu)分布式算力的復(fù)雜性，更好地應(yīng)對(duì)AI算力異構(gòu)化的趨勢(shì)。

　　目前，第四范式與多家國內(nèi)外服務(wù)器廠商進(jìn)行了深度適配和優(yōu)化，希望通過軟件定義算力，盡可能降低分布式異構(gòu)算力趨勢(shì)所帶來的復(fù)雜性。未來，第四范式希望借助4Paradigm Sage AIOS 2.0及4Paradigm Sage App Store，聚集開放生態(tài)和合作伙伴的力量，幫助更多行業(yè)快速開啟智能化轉(zhuǎn)型與質(zhì)變之旅。

　　開源兩大底層技術(shù)棧：給開發(fā)者最需要的東西

　　值得關(guān)注的是，第四范式還計(jì)劃在一年內(nèi)將 95% 核心技術(shù)開源出來。發(fā)布會(huì)上，第四范式就面向開發(fā)者社區(qū)開源了AIOS的兩個(gè)核心底層技術(shù)棧——OpenMLDB機(jī)器學(xué)習(xí)數(shù)據(jù)庫和OpenAIOS人工智能操作系統(tǒng)內(nèi)核。

　　OpenMLDB：為AI而生的機(jī)器學(xué)習(xí)數(shù)據(jù)庫

　　機(jī)器學(xué)習(xí)技術(shù)的深入往往伴隨著機(jī)器學(xué)習(xí)模型的高頻次進(jìn)化，這也意味著正確數(shù)據(jù)供給的重要性不斷提高。ML需要實(shí)現(xiàn)理性和瞬時(shí)高效的推理判斷，但無論是事務(wù)型數(shù)據(jù)庫、分析型數(shù)據(jù)庫還是傳統(tǒng)數(shù)倉，在執(zhí)行這類任務(wù)時(shí)都無法保障正確的數(shù)據(jù)供給。實(shí)際應(yīng)用開發(fā)與落地過程中，仍然會(huì)大量出現(xiàn)數(shù)據(jù)穿越、泄露、離線在線不一致、拼接錯(cuò)位等數(shù)據(jù)問題。

　　與Hadoop、Oracle、MySQL 這些傳統(tǒng)數(shù)據(jù)庫相區(qū)別，OpenMLDB是專為AI而生的機(jī)器學(xué)習(xí)數(shù)據(jù)庫，解決了3個(gè)核心數(shù)據(jù)問題：線上線下一致性、數(shù)據(jù)閉環(huán)、數(shù)據(jù)時(shí)序正確。

　　一方面通過統(tǒng)一的數(shù)據(jù)存儲(chǔ)引擎避免了跨數(shù)據(jù)庫的信息交換，避免了大腦之間的信息交換；另一方面通過統(tǒng)一的數(shù)據(jù)計(jì)算引擎，使離線和在線使用同一套計(jì)算邏輯，確保了總結(jié)規(guī)律和線索演算時(shí)思維方式的一致；

　　在時(shí)序正確性上，OpenMLDB 通過使用自動(dòng)時(shí)序拼接語法和時(shí)序泄露檢測(cè)模塊，避免了錯(cuò)誤的數(shù)據(jù)使用；

　　在閉環(huán)完整性上，OpenMLDB也進(jìn)行了針對(duì)性的矯正，通過對(duì)線索與反饋的自動(dòng)拼接檢測(cè)與自動(dòng)關(guān)聯(lián)，保障了唯一拼接標(biāo)識(shí)，避免了數(shù)據(jù)拼接錯(cuò)位的問題。

　　OpenAIOS：完全面向AI的分布式操作系統(tǒng)內(nèi)核

　　除了數(shù)據(jù)上的困局，AI在計(jì)算、存儲(chǔ)、通信等方面也是“資源大戶”，低效的硬件資源利用率也是轉(zhuǎn)型的一大掣肘。不同的異構(gòu)芯片、異構(gòu)存儲(chǔ)、異構(gòu)通信設(shè)備，都需要操作系統(tǒng)內(nèi)核進(jìn)行統(tǒng)一的管理與調(diào)度，保障任務(wù)的成功率與資源利用率。第四范式OpenAIOS是一個(gè)完全面向AI的分布式操作系統(tǒng)內(nèi)核，實(shí)現(xiàn)了多級(jí)計(jì)算內(nèi)核、多級(jí)存儲(chǔ)內(nèi)核以及多級(jí)通信內(nèi)核，來應(yīng)對(duì)異構(gòu)算力的管理和調(diào)度。

　　在算力方面，OpenAIOS 的多級(jí)計(jì)算內(nèi)核有針對(duì)性的設(shè)計(jì)硬件之間的協(xié)同處理策略，將計(jì)算任務(wù)進(jìn)行工作量拆分，通過統(tǒng)一的智能化調(diào)度，將拆分后的任務(wù)給到不同的專用計(jì)算芯片進(jìn)行處理。

　　在存儲(chǔ)方面，面向存儲(chǔ)密集型技術(shù)組件，因?yàn)閮?nèi)存和顯存不夠?qū)е碌娜蝿?wù)失敗是開發(fā)者最常遇到的難題。在不侵入現(xiàn)有應(yīng)用和代碼的情況下，OpenAIOS 在操作系統(tǒng)內(nèi)部建立了一套面向內(nèi)存和顯存的多級(jí)存儲(chǔ)內(nèi)核，通過自動(dòng)擴(kuò)容策略和多級(jí)緩存機(jī)制將存儲(chǔ)容量進(jìn)行擴(kuò)展，降低整體存儲(chǔ)成本的同時(shí)提高了任務(wù)的成功率。

　　在通信速率方面，數(shù)據(jù)的交換效率是人們關(guān)注的重點(diǎn)，OpenAIOS 提供了多級(jí)通信內(nèi)核，在機(jī)器學(xué)習(xí)特有的梯度權(quán)重交換等環(huán)節(jié)，提供了低延遲、高吞吐的通信框架，以及面向異構(gòu)加速器的專用通信協(xié)議，減輕數(shù)據(jù)通信上的壓力。

　　下一步：如何將AI帶來的量變推到質(zhì)變

　　在兩大底層技術(shù)棧開源的基礎(chǔ)上，第四范式開放了開箱即用的“AIOS社區(qū)版”，整合了OpenMLDB和OpenAIOS，社區(qū)和開發(fā)者可在免費(fèi)的線上算力和應(yīng)用開發(fā)環(huán)境進(jìn)行體驗(yàn)和學(xué)習(xí)。并支持多種本地 IDE，讓大家保持PC上開發(fā)單機(jī)應(yīng)用體驗(yàn)的同時(shí)，無縫的將分布式任務(wù)對(duì)接到異構(gòu)云資源上。在應(yīng)用的開放性上，除了內(nèi)置的核心應(yīng)用，AIOS 社區(qū)版也提供了應(yīng)用商店，能夠支持所有的云原生第三方應(yīng)用。

　　對(duì)于AI發(fā)展的預(yù)期，第四范式創(chuàng)始人兼CEO戴文淵提到，科技改變產(chǎn)業(yè)最重要的是能否找到臨界點(diǎn)。當(dāng)跨過這個(gè)臨界點(diǎn)后，想象空間將變得無限大。在他看來，下一階段的最大挑戰(zhàn)是如何進(jìn)一步將AI帶來的量變推到質(zhì)變，使得企業(yè)真正實(shí)現(xiàn)AI轉(zhuǎn)型。率先轉(zhuǎn)型成功的企業(yè)，都是利用AI決策賦能關(guān)鍵業(yè)務(wù)場景，最終突破業(yè)務(wù)臨界點(diǎn)實(shí)現(xiàn)質(zhì)變。當(dāng)AI在關(guān)鍵場景驗(yàn)證成功后，就能逐步拓展到所有業(yè)務(wù)領(lǐng)域，最后實(shí)現(xiàn)企業(yè)經(jīng)營的質(zhì)變。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】