嘉賓丨詹坤林

撰稿丨諾亞

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

在這個(gè)信息爆炸的時(shí)代，人工智能正悄然融入生活。然而，將AI技術(shù)迅速、高效地轉(zhuǎn)化為實(shí)用工具，始終是挑戰(zhàn)。在近期的WOT全球技術(shù)創(chuàng)新大會(huì)上，58同城高級(jí)總監(jiān)、AI Lab負(fù)責(zé)人詹坤林分享了解決之道：通過(guò)使用大模型和AI智能體技術(shù)，突破傳統(tǒng)AI應(yīng)用開(kāi)發(fā)的局限，加速其落地，使人工智能成為觸手可及的智能伙伴。

1.搭建AI平臺(tái)，彌合算力到應(yīng)用之間的巨大鴻溝

詹坤林介紹，“從去年開(kāi)始我們?nèi)鎿肀Т竽Ｐ?，尤其是大語(yǔ)言模型。在此背景下，我們構(gòu)建了我們自己的垂類大語(yǔ)言模型——靈犀大模型（生成式人工智能服務(wù)備案編號(hào)：Beijing—LingXi—202407050027）。以此為基礎(chǔ)，我們對(duì)傳統(tǒng)的智能對(duì)話平臺(tái)進(jìn)行了升級(jí)，并搭建了我們的智能體平臺(tái)，核心目的是讓我們的AI應(yīng)用能夠快速落地?！?/p>

作為知名生活服務(wù)平臺(tái)，58同城的主要業(yè)務(wù)模式是連接B端與C端用戶，促成雙方交流，與此同時(shí)，近年來(lái)也在推動(dòng)平臺(tái)內(nèi)的交易閉環(huán)，進(jìn)行產(chǎn)業(yè)化升級(jí)，深化產(chǎn)業(yè)價(jià)值鏈。

AI Lab作為58同城基礎(chǔ)平臺(tái)部，重點(diǎn)在支撐房產(chǎn)、招聘、汽車、本地服務(wù)四大業(yè)務(wù)線。鑒于從最基礎(chǔ)的AI算力到實(shí)際的AI應(yīng)用之間存在巨大鴻溝，AI平臺(tái)就需要著力搭建橋梁，確保AI應(yīng)用與算力高效對(duì)接，驅(qū)動(dòng)創(chuàng)新實(shí)踐。

基于這一訴求，AI平臺(tái)架構(gòu)分為這樣三層：底層為AI計(jì)算引擎，統(tǒng)一管理CPU/GPU資源，實(shí)現(xiàn)算力調(diào)度、模型訓(xùn)練及推理，目標(biāo)是“模型即服務(wù)”。在此基礎(chǔ)上，集成圖文音算法與大語(yǔ)言模型、多模態(tài)模型，供應(yīng)用方調(diào)用構(gòu)建服務(wù)；同時(shí)，為加速AI應(yīng)用，增設(shè)AI應(yīng)用平臺(tái)層，涵蓋智能對(duì)話、數(shù)字人、Agent等解決方案，使應(yīng)用方能基于中間的應(yīng)用平臺(tái)層的解決方案去快速落地應(yīng)用；最終，讓AI應(yīng)用滲透至銷售、客服、產(chǎn)品及內(nèi)部辦公等全業(yè)務(wù)流程。

圖片

2.構(gòu)建大模型平臺(tái)，適應(yīng)多樣化的業(yè)務(wù)場(chǎng)景和硬件環(huán)境

那具體來(lái)說(shuō)要怎么做呢？

詹坤林首先提到了構(gòu)建大語(yǔ)言模型平臺(tái)的思路：之所以要打造這樣一個(gè)平臺(tái)，一則是因?yàn)锳I Lab作為平臺(tái)部門需要提供一個(gè)能夠滿足各業(yè)務(wù)線需求的通用平臺(tái)，使大家能夠便捷地利用大模型，避免重復(fù)造輪子；二則基于這樣的認(rèn)知——通用的大語(yǔ)言模型結(jié)合Prompt提示在某些應(yīng)用場(chǎng)景下可能難以滿足特定需求，需要應(yīng)用方基于特定應(yīng)用場(chǎng)景進(jìn)行模型的微調(diào)。

在這樣的思路指引下，建設(shè)路徑也漸趨清晰：構(gòu)建一套支持大語(yǔ)言模型訓(xùn)練、推理的平臺(tái)，集成各類開(kāi)源通用大模型，供應(yīng)用方調(diào)用和微調(diào)。

落到實(shí)處，平臺(tái)建設(shè)遵循了這一路徑：集成了主流開(kāi)源大模型，并嵌入LoRA、QLoRA微調(diào)算法及MoE訓(xùn)練策略，支持從模型微調(diào)到一鍵部署的全流程。應(yīng)用方僅需上傳數(shù)據(jù)，選擇微調(diào)方法，即可快速上線定制模型，利用開(kāi)源推理框架如vLLM實(shí)現(xiàn)高效推理。

與此同時(shí)，詹坤林強(qiáng)調(diào)，有了平臺(tái)還不夠，還需要持續(xù)追蹤業(yè)界進(jìn)展來(lái)不斷優(yōu)化。比如，采用MoE架構(gòu)，通過(guò)分割大模型為小模塊，減少推理時(shí)所需參數(shù)，優(yōu)化GPU資源利用；再比如，針對(duì)GPU稀缺場(chǎng)景，采用S-LoRA技術(shù)，可以在同一張GPU卡上部署和運(yùn)行多個(gè)微調(diào)過(guò)的模型，顯著降低部署成本。

3.打造垂類大模型“靈犀”，為具體業(yè)務(wù)場(chǎng)景量體裁衣

在58同城的創(chuàng)新之旅中，除了構(gòu)建大模型平臺(tái)之外，打造垂類大模型是另一個(gè)重點(diǎn)。

考慮到58同城特有的房產(chǎn)、招聘等垂直場(chǎng)景，通用大模型往往因缺乏針對(duì)性數(shù)據(jù)而在這些領(lǐng)域表現(xiàn)平平。因此，AI Lab在搭建平臺(tái)之外開(kāi)始著手開(kāi)發(fā)專屬于58的垂直大模型，以期獲得更佳的場(chǎng)景適應(yīng)性和表現(xiàn)效果。

據(jù)詹坤林介紹，為了避免從0到1的高昂成本，他們決定在開(kāi)源模型基礎(chǔ)上，利用58同城豐富的業(yè)務(wù)數(shù)據(jù)進(jìn)行增量預(yù)訓(xùn)練，從而平衡模型性能與資源消耗。

訓(xùn)練過(guò)程分為三個(gè)階段，融入58業(yè)務(wù)數(shù)據(jù)的同時(shí)引入公共數(shù)據(jù)，然后進(jìn)行精心配比，確保模型既能夠吸收特定領(lǐng)域的知識(shí)，又能夠保留通用語(yǔ)言模型的能力，避免災(zāi)難性遺忘的問(wèn)題，之后再進(jìn)行微調(diào)和對(duì)齊，確保其在特定任務(wù)上的表現(xiàn)達(dá)到最優(yōu)。

在評(píng)測(cè)效果方面，靈犀大模型經(jīng)公開(kāi)數(shù)據(jù)集與內(nèi)部場(chǎng)景雙重評(píng)測(cè)，相較于同尺寸開(kāi)源模型，在特定指標(biāo)上展現(xiàn)優(yōu)勢(shì)。另外，安全模型的開(kāi)發(fā)尤為關(guān)鍵，針對(duì)內(nèi)容審核需求，如涉政、涉黃信息識(shí)別，靈犀安全大模型在與GPT4的對(duì)比中也展現(xiàn)出顯著優(yōu)勢(shì)。

圖片

目前，58同城靈犀大模型已經(jīng)正式通過(guò)生成式人工智能服務(wù)備案（模型名稱：靈犀，備案單位：北京五八信息技術(shù)有限公司，上線備案編號(hào)：Beijing—LingXi—202407050027）。點(diǎn)擊可見(jiàn)

詹坤林還提到，在某些場(chǎng)景下，基于百億參數(shù)的模型去打造應(yīng)用，相比千億參數(shù)模型更有優(yōu)勢(shì)?！叭ツ辏跇I(yè)界未開(kāi)源大參數(shù)模型時(shí)，我們的百億參數(shù)模型效果和性能媲美甚至優(yōu)于某閉源千億參數(shù)模型，證明小規(guī)模模型亦可高效應(yīng)對(duì)復(fù)雜場(chǎng)景。”

為滿足不同技能水平團(tuán)隊(duì)的需求，58同城AI Lab構(gòu)建了全面的大模型API體系，不僅允許迅速部署內(nèi)部模型，確保新模型發(fā)布后能即時(shí)上線，而且整合了市場(chǎng)上的商用大模型API，簡(jiǎn)化了調(diào)用流程。

依托這套邏輯，AI平臺(tái)與應(yīng)用方的合作形式靈活多樣：應(yīng)用方可直接在平臺(tái)上微調(diào)模型；也可以采用垂直模型定制解決方案；即使是缺乏技術(shù)背景的團(tuán)隊(duì)也可以直接收獲一站式服務(wù)。

4.建設(shè)AI Agent平臺(tái)，按下應(yīng)用落地加速鍵

需要承認(rèn)的是，對(duì)于不少應(yīng)用方，尤其是小型團(tuán)隊(duì)開(kāi)發(fā)者來(lái)說(shuō)，微調(diào)大模型還是成本過(guò)高、耗時(shí)過(guò)長(zhǎng)。為此，58同城AI Lab以靈犀大模型作為大腦驅(qū)動(dòng)，構(gòu)建了一套AI Agent平臺(tái)，旨在加速AI應(yīng)用落地。

詹坤林簡(jiǎn)單說(shuō)明了這套智能體平臺(tái)的構(gòu)建過(guò)程：他們基于開(kāi)源模型微調(diào)出適應(yīng)Agent場(chǎng)景的模型，強(qiáng)化角色扮演（如扮演HR或銷售）和工具調(diào)用能力。經(jīng)過(guò)優(yōu)化，不僅提升了工具調(diào)用的準(zhǔn)確性，還增強(qiáng)了模型的通用性能。

平臺(tái)的關(guān)鍵特色之一是自主研發(fā)的RAG功能，允許上傳文檔以構(gòu)建知識(shí)庫(kù)，從而豐富AI的回答。工作流自動(dòng)化使得AI Agent能獨(dú)立執(zhí)行任務(wù)。

區(qū)別于業(yè)界其他智能體平臺(tái)只能在自有生態(tài)下生成智能體頁(yè)面，該平臺(tái)可以生成智能體API，提供的API便于開(kāi)發(fā)者將智能體無(wú)縫整合進(jìn)自定義應(yīng)用，極大地提高了靈活性和創(chuàng)新空間。

對(duì)比多家智能體平臺(tái)，實(shí)測(cè)表明，在綜合場(chǎng)景下，因?qū)ξ谋鞠蛄炕痛竽Ｐ瓦M(jìn)行了針對(duì)性微調(diào)，平臺(tái)的RAG方案優(yōu)勢(shì)明顯借助此技術(shù)，運(yùn)營(yíng)方即使無(wú)算法團(tuán)隊(duì)，也能通過(guò)AI Agent平臺(tái)快速搭建應(yīng)用。只需上傳文檔，系統(tǒng)便自動(dòng)完成解析、向量化、檢索與排序，由大模型完成回答，大幅簡(jiǎn)化了文檔問(wèn)答的實(shí)現(xiàn)過(guò)程。

目前58同城正全面應(yīng)用大模型技術(shù)，涉足銷售、客服、用戶體驗(yàn)和內(nèi)部辦公等多個(gè)領(lǐng)域，已成功部署逾50款A(yù)I應(yīng)用。

以銷售培訓(xùn)場(chǎng)景為例，58同城面對(duì)高流動(dòng)性的電銷團(tuán)隊(duì)，新員工需迅速掌握銷售技巧。傳統(tǒng)培訓(xùn)耗資費(fèi)時(shí)，涉及大量人力一對(duì)一指導(dǎo)話術(shù)。為解決此問(wèn)題，引入了基于大模型的角色扮演機(jī)器人作為陪練，它能模仿優(yōu)秀銷售的溝通方式及不同客戶的反應(yīng)，幫助新員工通過(guò)互動(dòng)學(xué)習(xí)提高銷售技能，減少真人培訓(xùn)的成本。   

再比如，在內(nèi)部辦公和研發(fā)效率方面，SQL智能助手優(yōu)化了數(shù)據(jù)分析流程。這款工具專注于生成SQL語(yǔ)句、自動(dòng)糾錯(cuò)以及響應(yīng)自然語(yǔ)言查詢，例如快速獲取部門收入數(shù)據(jù)或圖表展示，極大提升了決策者和業(yè)務(wù)團(tuán)隊(duì)獲取關(guān)鍵信息的速度，減少了編寫復(fù)雜查詢的需求。

5.結(jié)語(yǔ)

最后，詹坤林分享了他關(guān)于大模型開(kāi)發(fā)與應(yīng)用的實(shí)踐總結(jié)：

第一，對(duì)于專注于特定垂直領(lǐng)域的公司而言，基于開(kāi)源大模型開(kāi)發(fā)的垂直模型展現(xiàn)出了顯著的優(yōu)勢(shì)。

第二，參數(shù)量并非決定一切。不必對(duì)于模型大小過(guò)度焦慮，選擇模型時(shí)應(yīng)更加注重具體應(yīng)用場(chǎng)景的需求。

第三，無(wú)論是垂直模型的構(gòu)建，大模型平臺(tái)的搭建，還是智能體平臺(tái)的開(kāi)發(fā)，所有努力的共同目標(biāo)都是為了孵化出具有重大影響力的應(yīng)用。

總而言之，企業(yè)應(yīng)該采取開(kāi)放態(tài)度，積極利用大模型的力量，通過(guò)定制化和開(kāi)放合作，尋求在垂直領(lǐng)域內(nèi)創(chuàng)造對(duì)業(yè)務(wù)具有高價(jià)值、高影響力的新型應(yīng)用，這一趨勢(shì)有望在未來(lái)幾年內(nèi)持續(xù)發(fā)展并帶來(lái)行業(yè)變革。

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：諾亞