關(guān)于大模型在企業(yè)級(jí)應(yīng)用中的選擇問題疑問回復(fù) 原創(chuàng)
?“ 企業(yè)級(jí)應(yīng)用和平常學(xué)習(xí)是兩回事，千萬不能混為一談 ”
在前面的??千萬不要為了節(jié)約成本而選擇小模型，特別是開源模型??這篇文章中，簡單說明了為什么盡量不要選擇小模型，然后文章下面有些評(píng)論，可能覺得作者說的都是廢話，或者模型不好直接換就行了。
但事實(shí)上作者認(rèn)為這些都是站在純粹的技術(shù)角度或者說把企業(yè)級(jí)應(yīng)用想的太簡單了。
大模型在企業(yè)級(jí)應(yīng)用中面臨的問題
很多技術(shù)人員都習(xí)慣站在技術(shù)的角度來考慮問題，認(rèn)為某項(xiàng)技術(shù)不好換一個(gè)就好了；又或者因?yàn)槟承┰驅(qū)е履承〇|西不能用。比如說，有些政府單位或銀行保險(xiǎn)部門還在使用xp系統(tǒng)和jsp做開發(fā)。
所以很多人就認(rèn)為政府單位的系統(tǒng)很拉垮，或者自己公司的技術(shù)經(jīng)理腦子有問題，選的都是什么架構(gòu)和技術(shù)棧；包括作者自己在前兩年也是這種想法。
但隨著工作經(jīng)驗(yàn)的增加，以及看待問題角度的改變，現(xiàn)在發(fā)現(xiàn)一個(gè)項(xiàng)目真的沒那么容易給做起來，做好；它會(huì)受到多個(gè)方面的影響，由于各種各樣的原因可能會(huì)導(dǎo)致想的是一回事，做的是另一回事。
友情提示一下，看這篇文章首先要拋開技術(shù)至上的理念，要從企業(yè)運(yùn)營，產(chǎn)品，成本，技術(shù)等多個(gè)角度來看待問題。
現(xiàn)在從實(shí)際案例的角度來思考問題，假如某一天你和朋友合伙開公司，然后想做一款基于大模型的產(chǎn)品；然后由于初創(chuàng)企業(yè)，資金和人力都有限，無法直接配備完善的企業(yè)架構(gòu)，比如說項(xiàng)目經(jīng)理，產(chǎn)品經(jīng)理，技術(shù)負(fù)責(zé)人，再加上其它的行政，財(cái)務(wù)等等。
可能很多時(shí)候都需要一人扮演多個(gè)角色，又是項(xiàng)目經(jīng)理，又是技術(shù)經(jīng)理，同時(shí)還需要負(fù)責(zé)企業(yè)的正常運(yùn)營。
現(xiàn)在假如你是技術(shù)經(jīng)理，讓你負(fù)責(zé)這款大模型應(yīng)用的技術(shù)架構(gòu)，以及業(yè)務(wù)實(shí)現(xiàn)；這時(shí)你應(yīng)該怎么做？
前期的需要采集與分析，以及產(chǎn)品經(jīng)理把需求產(chǎn)品化的過程就不說了；現(xiàn)在產(chǎn)品經(jīng)理直接給你一份產(chǎn)品的詳細(xì)設(shè)計(jì)方案，然后讓你基于這個(gè)方案做一個(gè)技術(shù)評(píng)估，以及一個(gè)能落地的技術(shù)方案。這時(shí)你需要處理哪些問題？
首先，你要評(píng)估這個(gè)產(chǎn)品在技術(shù)上是否可行，也就是說依靠現(xiàn)有的技術(shù)能力能否實(shí)現(xiàn)產(chǎn)品的功能；然后在技術(shù)可行的前提下，怎么設(shè)計(jì)系統(tǒng)架構(gòu)，不同的功能模塊怎么拆分；這時(shí)你考慮的不僅僅只是技術(shù)的實(shí)現(xiàn)問題上；還同時(shí)需要考慮后續(xù)的功能升級(jí)，產(chǎn)品上線之后的穩(wěn)定性，當(dāng)前自己團(tuán)隊(duì)的技術(shù)實(shí)力。
前端技術(shù)棧的選擇，后端技術(shù)棧的選擇，各種中間件的選擇；然后是否會(huì)有安全性問題，合規(guī)性問題，保密性問題，行業(yè)要求，政府規(guī)章問題等等。
等這些問題都搞定之后，再來說關(guān)于大模型的選擇，畢竟做的就是基于大模型的上層應(yīng)用。
關(guān)于大模型的選擇一般有以下幾種情況：
自己開發(fā)大模型，這種對(duì)創(chuàng)業(yè)公司來說基本可以放棄，除非你就是想做大模型服務(wù)
使用第三方模型，這又有幾種情況，是使用一些大模型服務(wù)商提供的大模型接口，還是搞幾個(gè)開源模型。
選擇大模型服務(wù)商的模型，需要考慮幾個(gè)個(gè)問題，你這個(gè)應(yīng)用是否有保密性要求；比如數(shù)據(jù)不能上傳到第三方模型服務(wù)；只能放在本地， 這時(shí)大模型服務(wù)商就可以直接拋棄了，只能選擇開源模型本地部署。
其次，開源模型服務(wù)商的接口價(jià)格問題；比如有些接口調(diào)一次幾毛錢就沒了；而在開發(fā)測試階段，每天都要花幾百塊錢甚至幾千塊錢的接口調(diào)用費(fèi)；這還不包括上線之后可能面臨的大量用戶調(diào)用帶來的巨大成本。
因?yàn)橐话闱闆r下，產(chǎn)品上線前期很難賺到錢，這時(shí)就需要公司的資金做支持。
如果無法承擔(dān)巨大的資金成本，這時(shí)只能退而求其次去選擇一些價(jià)格便宜，但性能可能并沒有那么好的模型服務(wù)商。
這時(shí)，你覺得模型不好用，直接換一個(gè)就行了，有這么容易嗎？ 雖然從技術(shù)的角度來說換一個(gè)模型很簡單，也就是換一個(gè)接口而已。
再有，關(guān)于大模型本地部署的問題，大模型本地部署需要大量的算力，而算力問題怎么解決？
是自己買GPU組建機(jī)房，還是租用云算力服務(wù)？
自己組建機(jī)房就需要有專業(yè)的團(tuán)隊(duì)來負(fù)責(zé)機(jī)房的穩(wěn)定運(yùn)營和功能升級(jí)；租用云算力服務(wù)就需要面臨巨大的資金壓力；這時(shí)應(yīng)該怎么選擇？
一般情況下，選擇云算力服務(wù)肯定會(huì)比自己組建機(jī)房成本要低的多；因此租用云算力服務(wù)是一個(gè)比較好的選擇。
ok，現(xiàn)在云算力服務(wù)租下來了，要本地部署大模型；這時(shí)選擇什么樣的大模型做本地部署？
是選擇功能垂直化的小模型，還是選擇參數(shù)量巨大的強(qiáng)大開源模型？
選擇參數(shù)量巨大的強(qiáng)大開源模型就意味著單臺(tái)算力機(jī)無法支持大模型的穩(wěn)定運(yùn)行，這時(shí)就需要采用多臺(tái)算力機(jī)并行計(jì)算的方式來實(shí)現(xiàn)；但大模型由于其體量巨大，而且運(yùn)行過程中需要面臨各種各樣的問題。
因此，人力運(yùn)維就很難完成，因此就需要有完整的自動(dòng)化運(yùn)維系統(tǒng)；這個(gè)系統(tǒng)哪里來？自己開發(fā)，還是購買第三方的系統(tǒng)？ 第三方系統(tǒng)能滿足你的全部需求嗎？ 如果不能該怎么辦？
還有，如果選擇功能垂直的小模型，可以進(jìn)行單機(jī)部署，但你這單機(jī)模型的運(yùn)維怎么搞？ 全部靠人工嗎？
如果是前期開發(fā)測試階段，由于規(guī)模不大靠人力還能扛的??；但上線之后呢？如果面臨每天幾萬，甚至幾十萬的訪問量，單臺(tái)機(jī)器能扛的住嗎？
如果不行，大模型集群部署該怎么搞？ 是簡單的多買幾臺(tái)機(jī)器然后把模型復(fù)制過去就行了嗎？
怎么保證某臺(tái)機(jī)器突然掛掉導(dǎo)致業(yè)務(wù)系統(tǒng)受影響，怎么做到不同機(jī)器之間的主動(dòng)切換？
由于節(jié)假日或者某些原因?qū)е孪到y(tǒng)壓力突然增大，怎么在最快的情況下讓系統(tǒng)自動(dòng)擴(kuò)容，應(yīng)對(duì)流量洪峰。
當(dāng)然，看到這里可能有人會(huì)說我們初創(chuàng)企業(yè)沒有那么大的流量，這些都是有些規(guī)模的企業(yè)才需要考慮的問題。
雖然話是這么說，但即使是小企業(yè)在產(chǎn)品上線之后，只要產(chǎn)品不是特別差，每天的用戶量也會(huì)有一部分吧？ 哪怕只需要三五臺(tái)，甚至十來臺(tái)機(jī)器部署大模型，而且還有保證業(yè)務(wù)的穩(wěn)定運(yùn)行，這時(shí)全靠人力運(yùn)維，技術(shù)人員會(huì)有多累？能堅(jiān)持的住嗎？ 并且還要負(fù)責(zé)新功能的開發(fā)和測試。
本地部署大模型就需要面臨著巨大的運(yùn)維成本，技術(shù)成本和算力成本；使用第三方模型就需要面臨著巨大的接口調(diào)用成本；這還是在沒考慮各種意外情況的理想狀態(tài)下。
而且，你引入的技術(shù)種類越多，也就意味著你的技術(shù)成本越高；可能某些技術(shù)還需要重新學(xué)習(xí)。這也意味著上線之后面臨的風(fēng)險(xiǎn)就越大；畢竟無法保證新技術(shù)帶來的穩(wěn)定性。
或者你會(huì)說，我們公司不缺錢，這些服務(wù)直接買就行了；那對(duì)于有鈔能力的企業(yè)，作者只能留下羨慕的淚水。
總之，對(duì)企業(yè)級(jí)應(yīng)用來說，它不是學(xué)習(xí)用的demo，這個(gè)不好換那個(gè)；再換之前你需要考慮技術(shù)，資金，穩(wěn)定性，風(fēng)險(xiǎn)等多個(gè)角度去考慮問題。
所以，如果說你是技術(shù)負(fù)責(zé)人，你會(huì)怎么做？怎么平衡技術(shù)，成本，風(fēng)險(xiǎn)，以及各種各樣的問題？
?
本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者：DFires
