以AIGC（生成式人工智能）和大模型為代表的新一代智能技術(shù)在全球引發(fā)了新一輪創(chuàng)新熱潮。在大模型競相涌現(xiàn)的背景下，如何讓AIGC更加便捷、廣泛地應(yīng)用到垂直場景，成為業(yè)界重點關(guān)注的方向。

日前，在全球邊緣計算大會上，網(wǎng)宿科技宣布已經(jīng)推出了面向AIGC的一站式邊緣智能解決方案，從Serverless GPU、AI網(wǎng)關(guān)、模型微調(diào)與推理服務(wù)三個層面，大大降低AIGC應(yīng)用的落地門檻，旨在幫助用戶以低成本、高效率的方式輕松實現(xiàn)AI應(yīng)用創(chuàng)新。

網(wǎng)宿科技邊緣智能平臺資深架構(gòu)師陳云輝

網(wǎng)宿科技邊緣智能平臺資深架構(gòu)師陳云輝在會上指出，盡管國內(nèi)基礎(chǔ)大模型百花齊放，為用戶提供了豐富的模型選擇，但用戶在實際落地中仍面臨較高門檻。

具體而言，從0開始實現(xiàn)AI應(yīng)用落地的過程中，企業(yè)用戶必須綜合考慮多個關(guān)鍵因素，包括對比開源模型和云服務(wù)商的推理成本與性能評估，重視系統(tǒng)的安全性、敏感詞過濾等，特別是在與現(xiàn)有業(yè)務(wù)的改造整合中，更是問題多多。對于對數(shù)據(jù)隱私和模型控制有嚴(yán)格要求的應(yīng)用場景，還需考慮針對特定垂直場景的私有模型微調(diào)。這些都使得整個實施周期漫長且成本高昂。

邊緣計算擁有高效的數(shù)據(jù)處理能力、實時的響應(yīng)速度、更低的帶寬要求等優(yōu)勢，可以在AIGC應(yīng)用過程中發(fā)揮關(guān)鍵價值。業(yè)界的普遍共識也是，未來AI模型的推理與內(nèi)容生產(chǎn)將呈云側(cè)、邊緣側(cè)、端側(cè)的梯度分布。

網(wǎng)宿科技憑借在邊緣計算領(lǐng)域的深厚積累，近年來對AIGC展開了持續(xù)探索，逐步形成了涵蓋Serverless GPU、AI網(wǎng)關(guān)、模型微調(diào)與推理服務(wù)的一站式邊緣智能解決方案。

據(jù)介紹，網(wǎng)宿Serverless GPU為用戶提供高度可擴展、按需使用的GPU算力資源服務(wù)，主要適用于多種計算密集型任務(wù)，如AI模型推理、音視頻加速生產(chǎn)、圖形加速等。基于網(wǎng)宿豐富的GPU算力資源，結(jié)合Serverless K8S和GPU加速的優(yōu)勢，用戶無需管理GPU服務(wù)器和K8S，只需上傳容器鏡像即可方便快捷運行AI應(yīng)用。“Serverless GPU除了擁有免運維的特性外，相較集中部署，由于GPU資源是放在邊緣側(cè)，離用戶更近，更貼近業(yè)務(wù)邊緣，具有低時延優(yōu)勢。并且，通過按需分配和GPU虛擬化技術(shù)，大大提高GPU資源的利用率，可以有效降低用戶的GPU使用成本?！标愒戚x表示。

網(wǎng)宿AI網(wǎng)關(guān)則是一款針對大語言模型的統(tǒng)一API接口，可以用在應(yīng)用程序和托管的大語言模型(LLM)之間，允許通過一個統(tǒng)一的API接口將API請求轉(zhuǎn)發(fā)給各個云廠商以及自有部署的大模型。網(wǎng)宿AI網(wǎng)關(guān)可以用于個人開發(fā)者和企業(yè)級AI應(yīng)用，幫助管理和整合多個后端大模型接口，提高AI應(yīng)用的穩(wěn)定性和可靠性，并降低后端模型的調(diào)用成本。

此外，對數(shù)據(jù)隱私、模型可控性有強要求的企業(yè)往往選擇部署自有開源模型，對此，網(wǎng)宿邊緣模型訓(xùn)練推理平臺可以提供最經(jīng)濟可靠的模型推理服務(wù)。

網(wǎng)宿邊緣模型訓(xùn)練推理平臺不僅為用戶提供一個全球性的邊緣推理運行環(huán)境，還提供模型微調(diào)環(huán)境、配備所需的GPU資源和完整的工具鏈，并支持將微調(diào)好的模型一鍵部署到網(wǎng)宿全球的邊緣節(jié)點上。通過不斷優(yōu)化的推理性能，邊緣模型訓(xùn)練推理平臺可以支撐用戶高效地訓(xùn)練、推理和使用大模型。

會上，陳云輝還談及了AIGC的發(fā)展，其判斷，大模型未來會演變成基礎(chǔ)設(shè)施，就像現(xiàn)在的操作系統(tǒng)、大數(shù)據(jù)平臺一樣，雖然用戶感知不明顯，但為各種應(yīng)用提供基礎(chǔ)性和通用性的支持。與此同時，開源能力也會越來越強。

值得一提的是，除了上述三大產(chǎn)品，網(wǎng)宿科技還在積極探索AIGC工作流引擎和AI營銷創(chuàng)意平臺兩個新方向，以進一步豐富自身的邊緣智能方案能力。

其中，AIGC工作流引擎旨在幫助用戶更高效地管理和執(zhí)行AI應(yīng)用的工作流程，通過將當(dāng)前復(fù)雜的業(yè)務(wù)流程分解成單個小任務(wù)，降低單一任務(wù)的復(fù)雜度，既可以減少對提示詞以及大模型推理能力的依賴，還能提升大模型處理復(fù)雜任務(wù)的性能和容錯能力，同時，在大模型性能不足的環(huán)節(jié)，AI工作流引擎還可以使用傳統(tǒng)的處理方法?；诠ぷ髁饕娲罱ǖ腁I應(yīng)用開發(fā)平臺，能有效結(jié)合AIGC與傳統(tǒng)方式，更好實現(xiàn)AI應(yīng)用的落地。而AI營銷創(chuàng)意平臺則面向最終用戶提供開箱即用的AI產(chǎn)品，旨在為用戶的營銷工作賦能。

“未來，我們希望能持續(xù)為客戶提供更低成本模型推理、更高質(zhì)量內(nèi)容生成的邊緣智能解決方案。”陳云輝表示。