嘉賓丨詹坤林
撰稿丨諾亞
在這個信息爆炸的時代，人工智能正悄然融入生活。然而，將AI技術(shù)迅速、高效地轉(zhuǎn)化為實用工具，始終是挑戰(zhàn)。在近期的WOT全球技術(shù)創(chuàng)新大會上，58同城高級總監(jiān)、AI Lab負責人詹坤林分享了解決之道：通過使用大模型和AI智能體技術(shù)，突破傳統(tǒng)AI應(yīng)用開發(fā)的局限，加速其落地，使人工智能成為觸手可及的智能伙伴。
1.搭建AI平臺，彌合算力到應(yīng)用之間的巨大鴻溝
詹坤林介紹，“從去年開始我們?nèi)鎿肀Т竽Ｐ?，尤其是大語言模型。在此背景下，我們構(gòu)建了我們自己的垂類大語言模型——靈犀大模型（生成式人工智能服務(wù)備案編號：Beijing—LingXi—202407050027）。以此為基礎(chǔ)，我們對傳統(tǒng)的智能對話平臺進行了升級，并搭建了我們的智能體平臺，核心目的是讓我們的AI應(yīng)用能夠快速落地?！?/p>
作為知名生活服務(wù)平臺，58同城的主要業(yè)務(wù)模式是連接B端與C端用戶，促成雙方交流，與此同時，近年來也在推動平臺內(nèi)的交易閉環(huán)，進行產(chǎn)業(yè)化升級，深化產(chǎn)業(yè)價值鏈。
AI Lab作為58同城基礎(chǔ)平臺部，重點在支撐房產(chǎn)、招聘、汽車、本地服務(wù)四大業(yè)務(wù)線。鑒于從最基礎(chǔ)的AI算力到實際的AI應(yīng)用之間存在巨大鴻溝，AI平臺就需要著力搭建橋梁，確保AI應(yīng)用與算力高效對接，驅(qū)動創(chuàng)新實踐。
基于這一訴求，AI平臺架構(gòu)分為這樣三層：底層為AI計算引擎，統(tǒng)一管理CPU/GPU資源，實現(xiàn)算力調(diào)度、模型訓(xùn)練及推理，目標是“模型即服務(wù)”。在此基礎(chǔ)上，集成圖文音算法與大語言模型、多模態(tài)模型，供應(yīng)用方調(diào)用構(gòu)建服務(wù)；同時，為加速AI應(yīng)用，增設(shè)AI應(yīng)用平臺層，涵蓋智能對話、數(shù)字人、Agent等解決方案，使應(yīng)用方能基于中間的應(yīng)用平臺層的解決方案去快速落地應(yīng)用；最終，讓AI應(yīng)用滲透至銷售、客服、產(chǎn)品及內(nèi)部辦公等全業(yè)務(wù)流程。
圖片
2.構(gòu)建大模型平臺，適應(yīng)多樣化的業(yè)務(wù)場景和硬件環(huán)境
那具體來說要怎么做呢？
詹坤林首先提到了構(gòu)建大語言模型平臺的思路：之所以要打造這樣一個平臺，一則是因為AI Lab作為平臺部門需要提供一個能夠滿足各業(yè)務(wù)線需求的通用平臺，使大家能夠便捷地利用大模型，避免重復(fù)造輪子；二則基于這樣的認知——通用的大語言模型結(jié)合Prompt提示在某些應(yīng)用場景下可能難以滿足特定需求，需要應(yīng)用方基于特定應(yīng)用場景進行模型的微調(diào)。
在這樣的思路指引下，建設(shè)路徑也漸趨清晰：構(gòu)建一套支持大語言模型訓(xùn)練、推理的平臺，集成各類開源通用大模型，供應(yīng)用方調(diào)用和微調(diào)。
落到實處，平臺建設(shè)遵循了這一路徑：集成了主流開源大模型，并嵌入LoRA、QLoRA微調(diào)算法及MoE訓(xùn)練策略，支持從模型微調(diào)到一鍵部署的全流程。應(yīng)用方僅需上傳數(shù)據(jù)，選擇微調(diào)方法，即可快速上線定制模型，利用開源推理框架如vLLM實現(xiàn)高效推理。
與此同時，詹坤林強調(diào)，有了平臺還不夠，還需要持續(xù)追蹤業(yè)界進展來不斷優(yōu)化。比如，采用MoE架構(gòu)，通過分割大模型為小模塊，減少推理時所需參數(shù)，優(yōu)化GPU資源利用；再比如，針對GPU稀缺場景，采用S-LoRA技術(shù)，可以在同一張GPU卡上部署和運行多個微調(diào)過的模型，顯著降低部署成本。
3.打造垂類大模型“靈犀”，為具體業(yè)務(wù)場景量體裁衣
在58同城的創(chuàng)新之旅中，除了構(gòu)建大模型平臺之外，打造垂類大模型是另一個重點。
考慮到58同城特有的房產(chǎn)、招聘等垂直場景，通用大模型往往因缺乏針對性數(shù)據(jù)而在這些領(lǐng)域表現(xiàn)平平。因此，AI Lab在搭建平臺之外開始著手開發(fā)專屬于58的垂直大模型，以期獲得更佳的場景適應(yīng)性和表現(xiàn)效果。
據(jù)詹坤林介紹，為了避免從0到1的高昂成本，他們決定在開源模型基礎(chǔ)上，利用58同城豐富的業(yè)務(wù)數(shù)據(jù)進行增量預(yù)訓(xùn)練，從而平衡模型性能與資源消耗。
訓(xùn)練過程分為三個階段，融入58業(yè)務(wù)數(shù)據(jù)的同時引入公共數(shù)據(jù)，然后進行精心配比，確保模型既能夠吸收特定領(lǐng)域的知識，又能夠保留通用語言模型的能力，避免災(zāi)難性遺忘的問題，之后再進行微調(diào)和對齊，確保其在特定任務(wù)上的表現(xiàn)達到最優(yōu)。
在評測效果方面，靈犀大模型經(jīng)公開數(shù)據(jù)集與內(nèi)部場景雙重評測，相較于同尺寸開源模型，在特定指標上展現(xiàn)優(yōu)勢。另外，安全模型的開發(fā)尤為關(guān)鍵，針對內(nèi)容審核需求，如涉政、涉黃信息識別，靈犀安全大模型在與GPT4的對比中也展現(xiàn)出顯著優(yōu)勢。
圖片
目前，58同城靈犀大模型已經(jīng)正式通過生成式人工智能服務(wù)備案（模型名稱：靈犀，備案單位：北京五八信息技術(shù)有限公司，上線備案編號：Beijing—LingXi—202407050027）。點擊可見
詹坤林還提到，在某些場景下，基于百億參數(shù)的模型去打造應(yīng)用，相比千億參數(shù)模型更有優(yōu)勢?！叭ツ?，在業(yè)界未開源大參數(shù)模型時，我們的百億參數(shù)模型效果和性能媲美甚至優(yōu)于某閉源千億參數(shù)模型，證明小規(guī)模模型亦可高效應(yīng)對復(fù)雜場景?！?/p>
為滿足不同技能水平團隊的需求，58同城AI Lab構(gòu)建了全面的大模型API體系，不僅允許迅速部署內(nèi)部模型，確保新模型發(fā)布后能即時上線，而且整合了市場上的商用大模型API，簡化了調(diào)用流程。
依托這套邏輯，AI平臺與應(yīng)用方的合作形式靈活多樣：應(yīng)用方可直接在平臺上微調(diào)模型；也可以采用垂直模型定制解決方案；即使是缺乏技術(shù)背景的團隊也可以直接收獲一站式服務(wù)。
4.建設(shè)AI Agent平臺，按下應(yīng)用落地加速鍵
需要承認的是，對于不少應(yīng)用方，尤其是小型團隊開發(fā)者來說，微調(diào)大模型還是成本過高、耗時過長。為此，58同城AI Lab以靈犀大模型作為大腦驅(qū)動，構(gòu)建了一套AI Agent平臺，旨在加速AI應(yīng)用落地。
詹坤林簡單說明了這套智能體平臺的構(gòu)建過程：他們基于開源模型微調(diào)出適應(yīng)Agent場景的模型，強化角色扮演（如扮演HR或銷售）和工具調(diào)用能力。經(jīng)過優(yōu)化，不僅提升了工具調(diào)用的準確性，還增強了模型的通用性能。
平臺的關(guān)鍵特色之一是自主研發(fā)的RAG功能，允許上傳文檔以構(gòu)建知識庫，從而豐富AI的回答。工作流自動化使得AI Agent能獨立執(zhí)行任務(wù)。
區(qū)別于業(yè)界其他智能體平臺只能在自有生態(tài)下生成智能體頁面，該平臺可以生成智能體API，提供的API便于開發(fā)者將智能體無縫整合進自定義應(yīng)用，極大地提高了靈活性和創(chuàng)新空間。
對比多家智能體平臺，實測表明，在綜合場景下，因?qū)ξ谋鞠蛄炕痛竽Ｐ瓦M行了針對性微調(diào)，平臺的RAG方案優(yōu)勢明顯借助此技術(shù)，運營方即使無算法團隊，也能通過AI Agent平臺快速搭建應(yīng)用。只需上傳文檔，系統(tǒng)便自動完成解析、向量化、檢索與排序，由大模型完成回答，大幅簡化了文檔問答的實現(xiàn)過程。
目前58同城正全面應(yīng)用大模型技術(shù)，涉足銷售、客服、用戶體驗和內(nèi)部辦公等多個領(lǐng)域，已成功部署逾50款A(yù)I應(yīng)用。
以銷售培訓(xùn)場景為例，58同城面對高流動性的電銷團隊，新員工需迅速掌握銷售技巧。傳統(tǒng)培訓(xùn)耗資費時，涉及大量人力一對一指導(dǎo)話術(shù)。為解決此問題，引入了基于大模型的角色扮演機器人作為陪練，它能模仿優(yōu)秀銷售的溝通方式及不同客戶的反應(yīng)，幫助新員工通過互動學(xué)習(xí)提高銷售技能，減少真人培訓(xùn)的成本。
再比如，在內(nèi)部辦公和研發(fā)效率方面，SQL智能助手優(yōu)化了數(shù)據(jù)分析流程。這款工具專注于生成SQL語句、自動糾錯以及響應(yīng)自然語言查詢，例如快速獲取部門收入數(shù)據(jù)或圖表展示，極大提升了決策者和業(yè)務(wù)團隊獲取關(guān)鍵信息的速度，減少了編寫復(fù)雜查詢的需求。
5.結(jié)語
最后，詹坤林分享了他關(guān)于大模型開發(fā)與應(yīng)用的實踐總結(jié)：
第一，對于專注于特定垂直領(lǐng)域的公司而言，基于開源大模型開發(fā)的垂直模型展現(xiàn)出了顯著的優(yōu)勢。
第二，參數(shù)量并非決定一切。不必對于模型大小過度焦慮，選擇模型時應(yīng)更加注重具體應(yīng)用場景的需求。
第三，無論是垂直模型的構(gòu)建，大模型平臺的搭建，還是智能體平臺的開發(fā)，所有努力的共同目標都是為了孵化出具有重大影響力的應(yīng)用。
總而言之，企業(yè)應(yīng)該采取開放態(tài)度，積極利用大模型的力量，通過定制化和開放合作，尋求在垂直領(lǐng)域內(nèi)創(chuàng)造對業(yè)務(wù)具有高價值、高影響力的新型應(yīng)用，這一趨勢有望在未來幾年內(nèi)持續(xù)發(fā)展并帶來行業(yè)變革。
