近幾年在生成式 AI 技術和商業(yè)創(chuàng)新飛速發(fā)展的背景下，創(chuàng)建高質量且低成本的生成式 AI 應用在業(yè)界仍有相當難度，主要原因在于缺乏系統(tǒng)化的調試和優(yōu)化方法。

近日，UCSD 張怡穎教授的 GenseeAI 團隊推出了首款可自動提升 AI 工作流生成質量并降低生成成本的工具 Cognify。Cognify 可以自動優(yōu)化 AI 工作流，支持 LangChain、DSPy、Python 等語言框架。Cognify 的核心思路是一種創(chuàng)新的分層工作流級優(yōu)化方法。Cognify 可將生成式 AI 應用的生成質量提高多達 48%，并將執(zhí)行成本降低多達 90%。Cognify 現(xiàn)已開源。

開源地址：https://github.com/GenseeAI/cognify

生成式 AI 工作流

當前的生成式 AI 產品通常都是以生成式 AI 工作流的形式構建和部署。AI 工作流內部可以調用各類 AI 模型、工具、數(shù)據(jù)源及其他類型的系統(tǒng)。典型的 AI 工作流包括 Agent 工作流和 LLM+RAG 等。

與單次調用 AI 模型相比，AI 工作流提供了更強大、可定制和集成化的解決方案。當前業(yè)界的 AI 工作流通常由工程師編寫。在部署之前，工程師需要手動調整 AI 工作流的結構和提示詞（prompt），并為工作流中的各個步驟選擇合適的模型。

然而，由于缺乏系統(tǒng)化的調優(yōu)方法，AI 工作流的部署經常非常耗時，已部署的工作流也可能面臨質量不佳、不穩(wěn)定或成本太高等問題。雖然有許多生成式 AI 工作流的開發(fā)框架，比如 Coze，Dify，LangChain，DSPy 和 Claude MCP，但是并沒有可以幫助開發(fā)者系統(tǒng)調試和優(yōu)化工具。

Cognify 優(yōu)化器

Cognify 是一款全面、多目標的開源 AI 工作流優(yōu)化器。Cognify 的優(yōu)化過程基于自動選擇 AI 模型、改進工作流結構和增強提示詞。Cognify 實現(xiàn)了工作流的多目標優(yōu)化，包括提高生成質量和低生成成本。

對于不同的應用場景，Cognify 都用相同或更小的模型達到了更高的生成質量，推動了質量 - 成本 Pareto 邊界，并且允許用戶選擇不同的質量 - 成本組合（結果如下圖所示）。在此過程中，Cognify 的優(yōu)化實現(xiàn)了「一鍵」全自動化。

同時，Cognify 也允許用戶自定義優(yōu)化方法 Cogs（Cognify 把各種優(yōu)化統(tǒng)稱 Cog），備選模型種類，以及最多優(yōu)化次數(shù)。Cognify 目前支持 LangChain、LangGraph、DSPy 和基于 Python 開發(fā)的工作流。

Cognify 核心技術

全局級別的工作流超參數(shù)調優(yōu)

Cognify 的核心理念是對整個工作流進行優(yōu)化，而不是在每個單獨的工作流組件中進行優(yōu)化。由于上游組件的生成結果對下游組件的性能有重大影響，孤立的優(yōu)化各個組件可能導致最終生成質量不佳，而且整體運行成本增加。

Cognify 通過實驗各種 Cog 組合，并通過最終生成的質量評估這些組合的效果，從而優(yōu)化整個工作流。

在整體工作流優(yōu)化中，一個關鍵挑戰(zhàn)是優(yōu)化成本，包括模型運行成本和耗時。一個簡單的做法是對每個可能的 cog 組合進行網格搜索，但這會導致指數(shù)級增長的優(yōu)化成本。為了解決這個問題，Cognify 采用了兩種策略。

首先，Cognify 將工作流視為一個優(yōu)化對象，并將所有可能的 Cog 視為其超參數(shù) (hyperparameter)。Cognify 為工作流超參數(shù)設計了一套新的貝葉斯優(yōu)化器（Bayesian Optimizer），用于調優(yōu)這些工作流超參數(shù)。特制的優(yōu)化器能夠有效探索 cog 組合空間。其次，Cognify 將 cog 分為兩層：外循環(huán)包含更改工作流結構的 cog（例如添加或移除組件或重新排列它們的順序），內循環(huán)包含不影響工作流結構的 cog（例如提示詞調優(yōu)和模型選擇）。這種雙層方法減少了貝葉斯優(yōu)化器需要探索的整體搜索空間。

CogHub：AI 工作流優(yōu)化器集合

與 Cognify 同時推出的是 CogHub——一個開源 cog 集合。就像 HuggingFace 集合了開源的模型，CogHub 集合了開源的 AI 工作流優(yōu)化方法。CogHub 在被 Cognify 內部調用的同時也面向程序員或未來的生成式 AI 工具。

CogHub 現(xiàn)支持以下五種 cogs：

• 任務分解 (Task Decomposition)（外循環(huán)）：將一個任務（一次 LLM 調用）分解為多個細分的子任務（多次 LLM 調用）。
• 任務集成 (Task Ensemble)（外循環(huán)）：構建并結合多個模塊來完成任務。
• 多步推理 (Multi-step Reasoning)（內循環(huán)）：要求 LLM 逐步推理。
• 少樣本學習 (Few-shot Learning)（內循環(huán)）：從輸入樣本中添加一些高質量的示例演示。
• 模型選擇 (Model SelectioN)（內循環(huán)）：評估不同的模型。

優(yōu)化案例

以下是一個數(shù)據(jù)可視化任務的例子。任務目標是由手機銷售數(shù)據(jù)生成針對每個廠商每個季度的銷量的箱型圖，并計算每個手機商的銷售平均值，最終用平均值線表示。

下圖展示了幾個生成圖的對比， 1) 人工畫的基準圖，2) 直接詢問 OpenAI o1，3) 直接運行 MatPlotAgent 工作流，4) DSPy 優(yōu)化過的工作流，以及 5) 由 Cognify 優(yōu)化過的工作流。Cognify 優(yōu)化過的工作流返回的結果幾乎與基準圖吻合，質量顯著優(yōu)于其他方案。與此同時，Cognify 優(yōu)化過的工作流的運行成本僅有 o1-preview 的 4%。

圖 A：人工畫的基準

圖 B：GPT o1-preview 的生成圖

圖 C：原生成式 AI 工作流的生成圖

圖 D：DSPy 優(yōu)化過的生成式 AI 工作流生成圖

圖 E：Cognify 優(yōu)化過的生成式 AI 工作流生成圖

GenseeAI 簡介

GenseeAI（gensee.ai）是由 UCSD 張怡穎教授帶領的初創(chuàng)公司。GenseeAI 致力于生成式 AI 工作流優(yōu)化、部署、推理和基礎平臺創(chuàng)建，目前已在多家世界 500 強公司推廣初期產品。張怡穎教授師從圖領獎得主 David Patterson 學門，是計算機系統(tǒng)領域的國際頂尖專家，獲得業(yè)界和學術界多項大獎和廣泛認可。GenseeAI 的其他核心團隊來自于美國谷歌和 Snap 等高科技公司，具有開發(fā)和運營日活躍用戶上億級別的 AI 產品的經驗。