2024年即將結(jié)束，回顧這一年與大語(yǔ)言模型（LLMs）的共同進(jìn)步，我們見(jiàn)證了許多令人振奮的變化。每個(gè)月，約有30,000名新用戶(hù)加入了 LangSmith，這讓我們得以更清楚地觀(guān)察到人工智能領(lǐng)域的變革。

就像去年我們所做的那樣，我們?cè)诖朔窒硪恍┯腥さ慕y(tǒng)計(jì)數(shù)據(jù)，揭示了產(chǎn)品使用模式的變化，以及人工智能生態(tài)系統(tǒng)的演變。特別是隨著開(kāi)發(fā)者利用 LangSmith 來(lái)跟蹤、評(píng)估并迭代應(yīng)用，觀(guān)察到一些顯著的趨勢(shì)，包括開(kāi)源模型的使用增長(zhǎng)，以及從以檢索為主的工作流轉(zhuǎn)向了多步驟的 AI 代理應(yīng)用。

接下來(lái)，我們將通過(guò)一些關(guān)鍵統(tǒng)計(jì)數(shù)據(jù)，深入了解開(kāi)發(fā)者正在關(guān)注和構(gòu)建的內(nèi)容。

基礎(chǔ)設(shè)施使用趨勢(shì)

隨著大語(yǔ)言模型（LLMs）的快速發(fā)展，大家不禁要問(wèn)：“哪些模型最受歡迎？”讓我們來(lái)一起看看這一年在這方面的變化。

主要 LLM 提供商

與去年相比，OpenAI 仍然是 LangSmith 用戶(hù)中最受歡迎的 LLM 提供商，使用量是排名第二的 Ollama 的六倍以上（按組織使用量計(jì)算）。

不過(guò)，Ollama 和 Groq 今年的增長(zhǎng)勢(shì)頭非常強(qiáng)勁，成功躋身前五名。這也說(shuō)明了開(kāi)發(fā)者對(duì)靈活部署選項(xiàng)和可定制人工智能基礎(chǔ)設(shè)施的需求日益增加，尤其是這些平臺(tái)支持運(yùn)行開(kāi)源模型——Ollama 更側(cè)重于本地執(zhí)行，而 Groq 更側(cè)重云端部署。

至于開(kāi)源模型的使用情況，與去年相比，主要開(kāi)源模型提供商保持了一定的一致性——Ollama、Mistral 和 Hugging Face 仍是大部分開(kāi)發(fā)者使用的主要平臺(tái)。這些開(kāi)源模型的集體使用量占到了**20%**，這顯示了開(kāi)源生態(tài)系統(tǒng)的強(qiáng)勁發(fā)展。

頂級(jí)檢索工具/向量存儲(chǔ)

對(duì)于許多生成性人工智能（GenAI）工作流來(lái)說(shuō)，檢索仍然是不可或缺的一部分。2024年，排名前列的向量存儲(chǔ)工具并未發(fā)生太大變化，Chroma 和 FAISS 仍然是最受歡迎的選擇。今年，Milvus、MongoDB 和 Elastic 也成功進(jìn)入了前十名。

LangChain產(chǎn)品在應(yīng)用構(gòu)建中的使用

隨著開(kāi)發(fā)者對(duì)生成性人工智能的使用經(jīng)驗(yàn)不斷積累，他們開(kāi)始構(gòu)建更加復(fù)雜和動(dòng)態(tài)的應(yīng)用。我們觀(guān)察到，從日益復(fù)雜的工作流到 AI 代理的崛起，創(chuàng)新生態(tài)系統(tǒng)正在不斷發(fā)展。

可觀(guān)察性不僅限于 LangChain 應(yīng)用

雖然 LangChain（我們的開(kāi)源框架）是許多開(kāi)發(fā)者構(gòu)建 LLM 應(yīng)用的核心，但 LangSmith 的數(shù)據(jù)表明，約 15.7% 的跟蹤數(shù)據(jù)來(lái)自 非LangChain框架。這反映了一個(gè)趨勢(shì)：無(wú)論開(kāi)發(fā)者使用何種框架來(lái)構(gòu)建 LLM 應(yīng)用，系統(tǒng)的可觀(guān)察性和監(jiān)控都是至關(guān)重要的，而 LangSmith 完全支持不同框架之間的互操作性。

Python 依然主導(dǎo)，JavaScript 使用增長(zhǎng)

對(duì)于許多開(kāi)發(fā)者來(lái)說(shuō)，調(diào)試、測(cè)試和監(jiān)控仍然是至關(guān)重要的環(huán)節(jié)，因此Python SDK占據(jù)了LangSmith使用量的絕大部分，達(dá)到 84.7%。不過(guò)，隨著開(kāi)發(fā)者轉(zhuǎn)向以 Web 為主的應(yīng)用，JavaScript SDK 也呈現(xiàn)出顯著增長(zhǎng)，使用量達(dá)到了 LangSmith 總使用量的 **15.3%**，是去年的三倍之多。

AI 代理的關(guān)注度持續(xù)提升

隨著企業(yè)在各個(gè)行業(yè)中越來(lái)越多地采用 AI 代理，我們的控制代理框架 LangGraph 的使用量也在不斷增加。自從2024年3月發(fā)布以來(lái)，43% 的 LangSmith 組織正在使用 LangGraph 進(jìn)行跟蹤。相比于傳統(tǒng)的 LLM 交互，LangGraph 允許開(kāi)發(fā)者實(shí)現(xiàn)更復(fù)雜的任務(wù)。

與此同時(shí)，工具調(diào)用的增加也是一個(gè)顯著趨勢(shì)，我們看到 21.9% 的跟蹤數(shù)據(jù)涉及工具調(diào)用，相比2023年的 0.5% 增長(zhǎng)了很多。這表明模型開(kāi)始更加自主地決定何時(shí)采取行動(dòng)，增強(qiáng)了與外部系統(tǒng)的互動(dòng)能力，比如執(zhí)行數(shù)據(jù)庫(kù)寫(xiě)入等任務(wù)。

性能與優(yōu)化

在應(yīng)用開(kāi)發(fā)中，平衡速度與復(fù)雜性是一個(gè)重要挑戰(zhàn)——尤其是在涉及 LLM 資源時(shí)。我們將進(jìn)一步探討開(kāi)發(fā)者如何優(yōu)化應(yīng)用，確保高效性能和復(fù)雜性之間的平衡。

復(fù)雜性不斷增長(zhǎng)，任務(wù)處理更高效

過(guò)去一年中，平均步驟數(shù)翻倍，從 2023年 的 2.8步 增長(zhǎng)到 2024年的7.7步。這表明開(kāi)發(fā)者越來(lái)越多地采用多步驟的工作流——例如，信息檢索、數(shù)據(jù)處理和生成結(jié)果等操作。這些系統(tǒng)能夠串聯(lián)多個(gè)任務(wù)，提高了工作的綜合效率。

相比之下，LLM調(diào)用次數(shù)的增長(zhǎng)較為溫和——從 1.1次 增長(zhǎng)到 1.4次。這表明開(kāi)發(fā)者正在設(shè)計(jì)更加高效的系統(tǒng)，通過(guò)較少的 LLM 調(diào)用完成更多任務(wù)，從而有效控制高成本的 LLM 請(qǐng)求。

LLM 測(cè)試與評(píng)估

為了確保生成的LLM響應(yīng)質(zhì)量和準(zhǔn)確性，開(kāi)發(fā)者通常采取哪些措施進(jìn)行測(cè)試？雖然保持高質(zhì)量的LLM應(yīng)用始終是個(gè)挑戰(zhàn)，越來(lái)越多的組織開(kāi)始借助 LangSmith 的評(píng)估能力來(lái)實(shí)現(xiàn)自動(dòng)化測(cè)試和用戶(hù)反饋循環(huán)，從而提升應(yīng)用的可靠性和穩(wěn)定性。

LLM 作為評(píng)估工具

開(kāi)發(fā)者正在使用 LLM 來(lái)評(píng)估輸出結(jié)果，判斷其是否符合預(yù)設(shè)標(biāo)準(zhǔn)。最常見(jiàn)的測(cè)試特征包括：相關(guān)性、準(zhǔn)確性、完全匹配 和 有用性。

這些測(cè)試結(jié)果表明，開(kāi)發(fā)者通常進(jìn)行基礎(chǔ)檢查，以確保生成的 AI 輸出不會(huì)完全偏離目標(biāo)。

通過(guò)人工反饋不斷迭代

人工反饋對(duì)于迭代開(kāi)發(fā)至關(guān)重要。借助 LangSmith，開(kāi)發(fā)者可以更加高效地收集和整合人工反饋，進(jìn)而改進(jìn)和優(yōu)化應(yīng)用。在過(guò)去的一年里，標(biāo)注的運(yùn)行記錄數(shù)量增加了 18倍，這與 LangSmith 使用量的增長(zhǎng)保持一致。

每次運(yùn)行的反饋量也略有增加，從 2.28條 增長(zhǎng)到 2.59條。然而，盡管每次運(yùn)行的反饋數(shù)量有所增加，整體反饋仍然偏少，開(kāi)發(fā)者可能更注重快速審查，或只對(duì)最關(guān)鍵的部分進(jìn)行反饋。

結(jié)論

2024年，開(kāi)發(fā)者通過(guò)構(gòu)建多步驟的代理模型應(yīng)對(duì)更高的復(fù)雜性，采用更高效的工作流，并通過(guò)反饋和評(píng)估提高了應(yīng)用的質(zhì)量。隨著更多 LLM 應(yīng)用的出現(xiàn)，開(kāi)發(fā)者對(duì)更智能的工作流、更高效的性能和更強(qiáng)的可靠性提出了更高的要求。

本文轉(zhuǎn)載自 ??AI小智??，作者： AI小智