對過去一年多的 AI 輪子們碎碎念
過去這一年多，是 AI 技術(shù)的大浪潮，GPT 各種詞匯也出現(xiàn)在原本非 ML 領(lǐng)域的同學(xué)視野中。增長了不少知識。
從我這個普通碼農(nóng)來看，感觸最深的就是這手里的錘子一直在變。有的同學(xué)總是會因?yàn)橐恍┬碌臒狳c(diǎn)被迫離開根源。因?yàn)樾碌募夹g(shù)總是需要人去嘗試一下。
以個人狹隘的視角，總結(jié)了四個階段的工具類的輪子趨勢變化，僅供參考。歡迎大家一起學(xué)習(xí)和提供建議。
1、LangChain 火爆，成為 AI 代名詞：
首先較早火爆的是：LangChain[1] 和 Semantic Kernel[2] 這兩個框架。當(dāng)時被各大媒體都盯著。一時間 LangChain，成為了 AI 輪子的代表詞。主打只簡簡單單用幾十行代碼，就能完成各種的 AI 酷炫功能。
圖片來自網(wǎng)絡(luò)
甚至還出現(xiàn) LangChain 和 Semantic Kernel 互相搶高低的情況，框架約等于 AI。這個還是比較尷尬的。
2、自研 SDK 和 LlamaIndex 等的轉(zhuǎn)移：
在同期稍晚些 LlamaIndex[3] 等更多的框架也出來了，開始出現(xiàn)一波 LangChain 太復(fù)雜，很多內(nèi)部細(xì)節(jié)導(dǎo)致實(shí)現(xiàn)更復(fù)雜的聲音。
圖片來官網(wǎng)截圖
此時有一波往 LlamaIndex、AutoXXX 或自研 SDK 等遷移的節(jié)奏。（最近）這波聲音也變大了，出現(xiàn)了許多 XXX 放棄 LangChain 等文章和推送：
圖片
前面兩個階段主要都是為了提高使用 AI 類功能的效率為主。并基于此進(jìn)一步展開。
3、Fine-tuning、知識庫、RAG、Agent、多模態(tài)、向量數(shù)據(jù)庫等深入研究：
在大家都在使用各種各樣的框架后，對于真正的效果，有了很多場景上的度量和思考。畢竟各家公司也要考核真正的投入產(chǎn)出比和價值。
例如：AI 客服、知識庫問答上，希望能夠達(dá)到更加的高的準(zhǔn)確度（專業(yè)度等），更多的情緒價值，更具性價比的開銷等。能不能做得更好，賺到錢。
至少涉及到以下相關(guān)的技術(shù)，有興趣的同學(xué)可以進(jìn)一步學(xué)習(xí)：
技術(shù) | 應(yīng)用場景 | 解決問題 |
RAG (檢索增強(qiáng)生成) | 自然語言處理任務(wù) ， 如文本生成 、 智能問答 | 提供更準(zhǔn)確的回答 ， 生成與上下文更相關(guān)的內(nèi)容 |
Fine-tuning | 特定領(lǐng)域應(yīng)用 ， 如醫(yī)療 、 法律等 | 提高模型在特定任務(wù)和領(lǐng)域的表現(xiàn) |
Function Calling | AI 助手與外部系統(tǒng)集成 ， 如日程安排 、 信息查詢 | 執(zhí)行特定任務(wù) ， 增強(qiáng) AI 助手的功能和實(shí)用性 |
Prompt | 自然語言處理任務(wù) ， 如對話生成 、 文本摘要 | 指導(dǎo)生成文本的方向和上下文 ， 提高生成內(nèi)容的質(zhì)量和相關(guān)性 |
Agent | 自動化任務(wù)執(zhí)行 ， 如客服 、 任務(wù)代理 | 自動化復(fù)雜任務(wù) ， 提高效率 ， 減少人工干預(yù) |
注：上面這個表格是 ChatGPT 生成的簡單介紹。
4、Dify LLM 應(yīng)用開發(fā)平臺的再次崛起：
在我的記憶中 dify 應(yīng)該也是比較早就開始做的了，但大家當(dāng)時可能聚焦前面的能用的階段更多。
現(xiàn)階段各類業(yè)務(wù)模式和內(nèi)容物，都有個大概了。誰更夠更快更靈活決定了一切。因此感覺 dify 近期又再火爆了一把，較多人推薦。
圖片
其提供了一套產(chǎn)品化的界面和 API。這節(jié)省很多重復(fù)造輪子的工作，在前期有中臺部門搭好體系后，業(yè)務(wù)團(tuán)隊可以專注在業(yè)務(wù)需求上。不用一個個框架重新看了。
總結(jié)
每個新興技術(shù)的誕生后，都會有新的提效和方法論的工具建設(shè)。感覺都和上面四個階段有雷同的發(fā)展模式。
今天做這個粗暴的梳理總結(jié)，只是便于自己和大家以后在新一輪來臨時，可以更好的尋找新的路徑先做出來，了解目前在工具/框架側(cè)的進(jìn)度。
參考資料
[1]LangChain: https://github.com/langchain-ai/langchain
[2]Semantic Kernel: https://github.com/microsoft/semantic-kernel
[3]LlamaIndex: https://docs.llamaindex.ai/en/stable/
