出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

隨著大模型的研究和應(yīng)用越來越廣泛，企業(yè)對(duì)于應(yīng)用大模型的需求變得越來越迫切。加之大模型部署成本從千萬(wàn)級(jí)逐漸降低到十萬(wàn)級(jí)，企業(yè)擁抱大模型的門檻逐漸降低。

話雖如此，具體到大模型訓(xùn)練、部署和應(yīng)用，其實(shí)并非想象得那般簡(jiǎn)單，這也是企業(yè)的大模型實(shí)踐并不成熟的原因所在。

在即將于6月21-22日在北京召開的WOT全球技術(shù)創(chuàng)新大會(huì)上，設(shè)置了“大模型部署與應(yīng)用”專題討論，來自百度、網(wǎng)易云音樂、第四范式、潞晨科技的多位實(shí)踐專家，帶來關(guān)于大模型部署與應(yīng)用的現(xiàn)身說法。

圖片

百度內(nèi)容生態(tài)AI大模型工程技術(shù)架構(gòu)新挑戰(zhàn)與探索

隨著生成式AI技術(shù)浪潮的興起，內(nèi)容生態(tài)作為最前沿的創(chuàng)新和業(yè)務(wù)落地場(chǎng)景，對(duì)技術(shù)架構(gòu)不斷提出新挑戰(zhàn)。百度內(nèi)容生態(tài)作為百度核心用戶產(chǎn)品信息流和搜索內(nèi)容總供給，在內(nèi)容理解和內(nèi)容生成方向上不斷進(jìn)行探索和創(chuàng)新。百度視頻創(chuàng)作平臺(tái)建設(shè)過程中面臨AI算力托管、AI模型治理、推理加速等方面的挑戰(zhàn)時(shí)如何應(yīng)對(duì)？解決方案是什么？

百度內(nèi)容生態(tài)大模型架構(gòu)技術(shù)負(fù)責(zé)人張寶玉將帶來《百度內(nèi)容生態(tài)AI大模型工程技術(shù)架構(gòu)新挑戰(zhàn)與探索》的主題分享。

網(wǎng)易云音樂大模型實(shí)踐及創(chuàng)新

在網(wǎng)易云音樂資深算法平臺(tái)工程師劉長(zhǎng)偉《網(wǎng)易云音樂大模型實(shí)踐及創(chuàng)新》的主題分享中，將介紹網(wǎng)易云音樂基于LLMOps理念實(shí)現(xiàn)的大模型微調(diào)、部署、評(píng)測(cè)、標(biāo)注鏈路，分享采用 zero offload技術(shù)來降低微調(diào)需要的資源門檻。此外，還會(huì)介紹基于自研 Modelzoo 實(shí)現(xiàn)大模型分布式管理、推理部署、推理優(yōu)化以及平臺(tái)提供的人工標(biāo)注和機(jī)器標(biāo)注流程。實(shí)踐部分，他將分享在音樂社區(qū)領(lǐng)域，如何基于大模型的閑聊對(duì)話全鏈路解決方案增加用戶主動(dòng)會(huì)話意愿，提升用戶留存率。

使用信創(chuàng)算力與虛擬化技術(shù)提升大模型部署效率

異構(gòu)算力設(shè)備已經(jīng)逐漸成為機(jī)器學(xué)習(xí)產(chǎn)品和服務(wù)中的常態(tài)化需求，近年來國(guó)產(chǎn)異構(gòu)算力發(fā)展迅速，產(chǎn)生了一批相當(dāng)有競(jìng)爭(zhēng)力的產(chǎn)品。但其相對(duì)封閉的生態(tài)與云原生粗粒度的分配方式造成了生產(chǎn)環(huán)境中異構(gòu)算力的使用率往往不盡如人意。

大模型成為趨勢(shì)的當(dāng)下，對(duì)于算力的需求呈現(xiàn)指數(shù)級(jí)別上升，如何能讓大模型可以平穩(wěn)部署在信創(chuàng)設(shè)備上，并提升其利用率已經(jīng)成為了一個(gè)重要的課題。   

第四范式高級(jí)研發(fā)工程師李孟軒帶來題為《使用信創(chuàng)算力與虛擬化技術(shù)提升大模型部署效率》的分享，介紹Project-HAMi，一個(gè)基于云原生的開源異構(gòu)算力整合與虛擬化解決方案，以此方式降低國(guó)產(chǎn)異構(gòu)算力的使用門檻，解決資源分配粒度過粗的問題，從而提升集群中異構(gòu)算力設(shè)備利用率。

大模型訓(xùn)練和加速的新技術(shù)與挑戰(zhàn)

AI模型急速增大與硬件算力緩慢增長(zhǎng)的尖銳矛盾，已成為制約AI生產(chǎn)力解放和發(fā)展的主要痛點(diǎn)?；诙嗄暝趯W(xué)術(shù)上的卓越成就和工業(yè)界的深厚積累，潞晨科技尤洋教授團(tuán)隊(duì)攻克多維張量并行、序列并行、異構(gòu)內(nèi)存管理、大規(guī)模優(yōu)化庫(kù)、自適應(yīng)任務(wù)調(diào)度等多項(xiàng)核心關(guān)鍵技術(shù)，開源了面向大模型時(shí)代的通用深度學(xué)習(xí)系統(tǒng)Colossal-AI，可實(shí)現(xiàn)高效快速部署AI大模型訓(xùn)練和推理，降低AI大模型應(yīng)用成本。發(fā)布后僅用時(shí)一年多，已在AI大模型軟件基礎(chǔ)設(shè)施細(xì)分賽道開源指標(biāo)排名世界第一。

潞晨科技技術(shù)總監(jiān)卞正達(dá)將帶來《大模型訓(xùn)練和加速的新技術(shù)與挑戰(zhàn)》的主題分享，介紹潞晨科技全球首個(gè)開源復(fù)現(xiàn)ChatGPT的RLHF訓(xùn)練過程的完整解決方案，全球首個(gè)開源類Sora架構(gòu)視頻生成模型及完整低成本解決方案Open-Sora，目前已更新至v1.1，總訓(xùn)練成本僅1萬(wàn)美元，發(fā)布后一個(gè)月已收獲GitHub Star近兩萬(wàn)顆，在類Sora模型細(xì)分賽道排名世界第一。

如何報(bào)名參會(huì)

時(shí)間：6月21日-6月22日

地點(diǎn)：北京·粵財(cái)JW萬(wàn)豪酒店

早鳥票預(yù)售中，點(diǎn)擊下方二維碼了解大會(huì)詳情，或咨詢：18500515262

圖片