需要為組織的開發(fā)項目提供特定于生成式 AI 的工具？探索這些工具所屬的主要類別及其功能。

ChatGPT 等生成式AI 服務的普及激發(fā)了將這些新工具應用于實際企業(yè)應用的興趣。如今，幾乎每個企業(yè)應用程序都通過生成式 AI 功能進行了增強。

大多數(shù) AI、數(shù)據(jù)科學、機器學習開發(fā)、部署和運營工具都支持生成式 AI 用例。這些工具的各種類型有助于管理 AI 開發(fā)生命周期、管理 AI 開發(fā)數(shù)據(jù)以及降低安全和隱私風險。盡管這些功能也可用于改進生成式 AI 開發(fā)，但本文重點介紹特定于生成式 AI 的工具。

還有許多新興類型的生成式人工智能不使用如此大型的語言模型 （LLM） 來執(zhí)行生成圖像、視頻、音頻、合成數(shù)據(jù)和跨語言翻譯等任務。這包括使用生成對抗網(wǎng)絡（GANs）、擴散（Diffusion）、變分自動編碼器和多模態(tài)技術構建的模型。

考慮到這一點，以下是有關生成式 AI 開發(fā)工具的頂級類別及其在一些領先供應商或開源實現(xiàn)中的功能的更多詳細信息。還值得注意的是，許多領先的供應商開始擴展其核心產(chǎn)品，通過收購或開發(fā)來支持多個類別。雖然許多現(xiàn)有工具都支持特定類別，但企業(yè)在規(guī)劃其生成式 AI戰(zhàn)略時，可能希望探索直接或通過集成市場支持這些功能的頂級平臺功能。

1. 基礎模型和服務

在大多數(shù)情況下，新的生成式 AI 工具專注于簡化使用 Google 研究人員在 2017 年開創(chuàng)的transformer 方法構建的 LLM 的開發(fā)和合規(guī)使用?；?LLM 構建的新基礎模型通?？梢蚤_箱即用，以增強現(xiàn)有應用程序。在其他情況下，供應商正在為各種行業(yè)和用例開發(fā)特定領域的模型。頂級基礎模型和服務的例子包括Anthropic的Claude，百度研究的Ernie，Cohere的Generate，F(xiàn)acebook的Llama系列，谷歌的Palm，Microsoft的Orca，OpenAI的GPT系列和技術創(chuàng)新研究所的Falcon LLM。頂級特定領域的 LLM 包括 C3 AI、Deci、DeepMind 的 AlphaCode、谷歌的Med-Palm、Nvidia 的 NeMo、BioNeMo 和 Picasso、和 OpenAI 的 Codex。

2. 云生成式 AI 平臺

各大云平臺也紛紛推出一套生成式AI功能，幫助企業(yè)開發(fā)、部署和管理生成式AI模型和功能。云提供商生成式 AI 平臺包括 AWS 生成式 AI、Google 生成式 AI、IBM Watsonx 和 Microsoft Azure AI 基礎知識。用于在云中開發(fā)生成式 AI 的流行第三方生成式 AI 開發(fā)平臺包括 Hugging Face 和 Nvidia 的產(chǎn)品。

3. 用例優(yōu)化工具

通用基礎模型可以生成聽起來權威且清晰的文本。他們還傾向于產(chǎn)生幻覺并產(chǎn)生不準確的信息。特定于生成式 AI 的開發(fā)工具還可以幫助企業(yè)推出自己的 LLM，這些 LLM 可以根據(jù)其獨特的需求和專業(yè)知識進行調(diào)整。檢索增強生成 （RAG） 可以啟動基礎模型以提高準確性。微調(diào)工具可幫助企業(yè)校準基礎模型。RAG 和微調(diào)工具有時會一起使用，以平衡每種方法的收益。頂級 RAG 工具包括 ChatGPT 檢索插件、Hugging Face Transformers 插件和 Farm、Haystack 和 Realm 等開源工具。微調(diào)功能已融入到服務中，以訪問大多數(shù)商業(yè)基礎模型。其他第三方微調(diào)工具包括 Entry Point 和 SynthFlow（以前稱為 Fine-Tuner），以及 Hugging Face 與開源模型配合使用的產(chǎn)品。

4. 質(zhì)量保證和幻覺緩解工具

新的幻覺檢測工具可以幫助識別和減少各種用例中幻覺的流行率。頂級幻覺緩解工具包括 Galileo Labs 的 LLM Studio、Helix3 Labs 的 Gleen、TruEra 的 TruLens 和 Vectara 的 Vectara 平臺。新的研究技術，如Woodpecker algorithm，可以幫助有興趣開發(fā)自己的幻覺緩解工作流程的企業(yè)。其中許多供應商已經(jīng)發(fā)布了這些產(chǎn)品的開源變體，包括 Galileo Labs 的 ChainPoll、TruEra 的 TruLens 和 Vectara 的 Hughes Hallucination Evaluation Model。

5. 提示工程工具

提示工程工具有助于管理與 LLM 的交互和 LLM 的測試。這些工具的面向用戶的變體使開發(fā)和管理有用提示庫變得更加容易。以工程為導向的變體有助于自動化測試過程，以識別偏差、毒性或幻覺。頂級提示工程工具包括 BetterPrompt、OpenPrompt、PromptAppGPT、Prompt Engine 和 Promptimize。

6. 數(shù)據(jù)聚合工具

早期的基礎模型支持有限的上下文窗口，這些窗口描述了 LLM 在一次查詢中可以處理的數(shù)據(jù)量。盡管這些模型在處理更大的上下文窗口方面越來越好，但開發(fā)人員已經(jīng)精心設計了各種類型的工具來處理更大的數(shù)據(jù)集。數(shù)據(jù)鏈工具，如LangChain和Dust，可以自動將多個文檔輸入到LLM中。向量數(shù)據(jù)庫以中間格式存儲數(shù)據(jù)，稱為嵌入空間，以使用LLM。需要考慮的頂級矢量數(shù)據(jù)庫包括Chroma，F(xiàn)aiss，Pinecone Systems的Pinecone，Qdrant和Weaviate。

7. 代理和自主人工智能工具

開發(fā)人員還在探索在一個或多個基礎模型及其可能相關的后端服務之間自動交互的方法。從長遠來看，這可能有助于實現(xiàn)代理人工智能或自主人工智能的發(fā)展。自主和代理 AI 工具包括 AgentGPT、AutoGPT、BabyAGI 和 OthersideAI 的自操作計算機框架等開源工具。平臺供應商也在推出新服務，以集成跨多個LLM模型和服務的工作流程。

8. 生成式 AI 成本優(yōu)化工具

AI 成本優(yōu)化工具有助于在性能、準確性和成本之間取得最佳平衡。這些工具仍處于開發(fā)的早期階段，但一個早期的例子是 Martian 的 Model Router。從長遠來看，現(xiàn)有的云成本優(yōu)化領導者可能會開發(fā)相關產(chǎn)品。