背景隨著我們在Dify平臺上不斷開發(fā)新的Agent，我們需要對Agent的能力是否滿足預期進行評估。因此，本章內(nèi)容主要介紹我們設計Agent評測數(shù)據(jù)集體系思路以及具體實施方案。目標建立一個評估Dify平臺上Agent基礎(chǔ)能力的評測體系。方案假設我們在Dify平臺上開發(fā)了一個專利輔助助手Agent，如果我們要對該Agent進行能力評估，那么評估維度大致分為兩層：基礎(chǔ)能力層基礎(chǔ)能力評估層，主要是Agent的通用能力進行評估，大體評估項以及評估指...

aievalsystem這是一個基于OpenCompass的模型評測系統(tǒng)，該系統(tǒng)提供了前端頁面UI以方便用戶自助開展評測工作。項目地址??https:github.comdomonic18aievalsystem??版本發(fā)布v0.2：支持API方式進行Dify平臺應用的評測優(yōu)化評測任務創(chuàng)建時的交互過程，包括APIURL等信息的輸入、數(shù)據(jù)集的選擇、評測信息的確認優(yōu)化評測任務頁面的顯示，區(qū)分我的評測和全部評測優(yōu)化評測任務終止時使用Celery原生方法不穩(wěn)定的問題服務進行Docker化，方...

背景在《MCP協(xié)議簡述之MCPserver實戰(zhàn)》中，我們實現(xiàn)了一個本地的MCPserver，然后在支持MCP協(xié)議的客戶端程序(如cursor、cherrystudio)中配置調(diào)用了該MCPserver。本章主要探索如何將MCPserver發(fā)布為遠程服務，使得其他用戶可以直接使用MCPserver?；仡檰栴}在上一章，我們在cherrystudio中配置了獲取天氣的本地mcpserver，關(guān)鍵配置如下：{"mcpServers":{"weather":{"command":"Usersdeadwalk.localbinuv","args":["directory","Use...

背景隨著AIAgent在2025年的火爆，與之相關(guān)的MCP協(xié)議也越來越受到開發(fā)者的重視，本文將結(jié)合示例深入了解MCP協(xié)議的原理架構(gòu)以及應用方法。(What)MCP協(xié)議是什么MCP（ModelContextProtocol）是一種專為AIAgent設計的標準化協(xié)議，旨在解決AI模型與外部數(shù)據(jù)、工具之間的集成難題。其核心定位是成為AI領(lǐng)域的“通用接口”，類似于物理世界中的USBC標準，為不同AI系統(tǒng)提供安全、無縫、可擴展的數(shù)據(jù)交換能力。(Why)為什么要使用MCP協(xié)議MCP...

前言由于使用??lmevaluationharness??工具評測時，遇到較多復雜的問題不好處理，例如：連接??huggingface???下載??tokenizer??被墻；評測??API???時需要服務器支持??LogProbs??等問題源代碼較為晦澀難懂，??Readme??文檔不詳細....導致評測工具的使用成本以及體驗不佳，因此我們尋求一款國產(chǎn)的、源碼可讀性高，文檔詳細的評測工具：OpenCompass。簡介OpenCompass是由上海人工智能實驗室推出的開源大...

前言由于在Macmini上部署ComfyUI踩了不少坑，所以本章內(nèi)容將部署過程和注意事項進行了整理記錄，以便方便未來的復用。目標目標1：在Macmini上通過ComfyUI+Flux模型，實現(xiàn)文生圖片的功能。目標2：將服務整合進Dify平臺，實現(xiàn)對模型能力的統(tǒng)一管理。1.本地部署步驟為了實現(xiàn)上述目標1，需要完成以下步驟：下載并安裝ComfyUI下載并安裝ComfyUIManager下載并安裝ComfyUIKJNode下載并配置Flux模型配置文生圖片工作流具體操作步驟如下...

前言隨著近期DeepsSeek大模型在AI領(lǐng)域的快速崛起，人工智能技術(shù)正在快速進化，在這場智能革命的浪潮中，一個關(guān)鍵命題愈發(fā)凸顯：當大模型能力不斷進化時，我們該如何建立與之匹配的評估體系。本文將以2篇論文??《ASurveyontheEvaluationofLargeLanguageModels》???、??《TRUSTWORTHYLLMS:ASURVEYANDGUIDELINEFOREVALUATINGLARGELANGUAGEMODELS'ALIGNMENT》??內(nèi)容作為基礎(chǔ)，探討大模型評價體系的重要性(Why)、評價什么(W...

前言DeepSeek作為國產(chǎn)頂尖大模型，在代碼生成和邏輯推理方面表現(xiàn)優(yōu)異。本文提供三種不同場景下的接入方案，滿足從普通用戶到開發(fā)者的不同需求。當前問題由于訪問量激增和網(wǎng)絡攻擊，官網(wǎng)服務可能出現(xiàn)不穩(wěn)定。本文提供三種備用接入方案：方法一：使用??chatbox+硅基流動??接入云端API使用(適合于普通用戶使用)方法二：使用??Cursor+硅基流動??接入云端API使用(適合于程序員人群)方法三：使用??ollama本地化部署??使用...

前言在眾多的GPU云平臺中，AutoDL是我們常用的一個。它因為顯卡可快速擴展、實例運行穩(wěn)定、網(wǎng)絡連接速度快，深受大家的喜愛。不過其端口映射略微復雜，所以本篇文章，我們將介紹在AutoDL平臺上進行模型訓練的過程。環(huán)境準備1.1創(chuàng)建實例通過查看LLamaFactory的官方文檔，我們可以得知，LLamaFactory的運行需要依賴以下環(huán)境：必需依賴最低版本推薦版本python3.83.11torch1.13.12.4.0transformers4.41.24.43.4datasets2.16.02.20.0...

前言本文將介紹如何在趨動云平臺上使用xinference部署對話模型、向量化模型以及多模態(tài)模型。xinference簡介xinference官網(wǎng)官網(wǎng)說明：https:inference.readthedocs.iozhcnlatestgettingstartedinstallation.htmlxinference可以部署的模型類別chat對話模型embedding向量化模型rerank模型vlchat多模態(tài)模型環(huán)境準備選擇鏡像選擇鏡像環(huán)境安裝xinferencexinference支持的引擎有：transformersvllmllama.cppSGlong引擎.....本篇文章，...

前言在上一章課程【???使用YOLO進行目標檢測??】，我們了解到目標檢測有兩種策略，一種是以YOLO為代表的策略：特征提取→切片→分類回歸；另外一種是以MTCNN為代表的策略：先圖像切片→特征提取→分類和回歸。因此，本章內(nèi)容將深入了解MTCNN模型，包括：MTCNN的模型組成、模型訓練過程、模型預測過程等。人臉識別在展開了解MTCNN之前，我們對人臉檢測先做一個初步的梳理和了解。人臉識別細分有兩種：人臉檢測和人臉身份識...

前言本章的學習內(nèi)容，將以目標檢測為切入口，了解目標檢測流程，包括：數(shù)據(jù)標準、模型訓練以及模型預測。圖片分類vs目標檢測通過查看YOLO網(wǎng)站的task目錄，我們可以看到：在計算機視覺領(lǐng)域中，常見的任務包括目標檢測（detect）、語義分割（segment）、圖像分類（classify）、人體姿態(tài)估計（pose）、以及有向邊界框（OrientedBoundingBox，OBB）等。圖像分類（classify）a.輸出是圖像所屬的類別或標簽，通常以概率分布的形式（例...

前言在上一章【??大模型之深入探索RAG流程???】中，我們對RAG流程中??文檔讀取(LOAD)???>??文檔切分(SPLIT)???>??向量化(EMBED)???>??存儲(STORE)???進行了深入了解，本章將接著深入了解??解析(Retrieval)??的使用解析器簡介簡介：在RAG（RetrievalAugmentedGeneration）流程中，Retrieval（檢索）是關(guān)鍵環(huán)節(jié)，其主要目標是從大量文檔或知識庫中提取與用戶查詢相關(guān)的信息。目的：信息獲?。焊鶕?jù)用...

前言在上一章【大模型之初識RAG】中，我們初步了解了RAG的基本概念和原理，并通過代碼實踐了一個簡單的RAG流程。本章我們將基于RAG的基本流程，深入了解??文檔讀取(LOAD)???、??文檔切分(SPLIT)???、??向量化(EMBED)???和??存儲(STORE)??的每個環(huán)節(jié)，并結(jié)合代碼進行常見場景的實踐。RAG流程回顧回顧RAG的流程如上所示，具體代碼見RAG代碼，本章不再贅述。文檔讀取(LOAD)簡介：由于我們的知識廣泛存在各類文...

前言通過前幾章的學習，我們已經(jīng)掌握連接一個第三方大模型，使用LangChain與大模型建立交互，并且通過Prompt進行提問，得到相應的回答。本章我們將開始了解RAG（檢索增強生成）技術(shù)，了解RAG的技術(shù)原理以及基本使用方法。RAG概述產(chǎn)生背景隨著信息量的急劇增加，單純依靠模型內(nèi)置的知識進行生成已無法滿足需求，比如：大模型的公共知識都是陳舊的！部分私有的知識大模型沒有學習過.....??RAG??（檢索增強生成）技術(shù)的出現(xiàn)是...

前言電影《鋼鐵俠》中的智能助手J.A.R.V.I.S.是一位得力的助手，它不但有強大的理解能力，而且還具備執(zhí)行行動的能力。隨著技術(shù)的不斷進步，類似于賈維斯的Agent正在逐步從銀幕走進現(xiàn)實。本文將探討Agent的產(chǎn)生背景，并結(jié)合一些代碼示例理解Agent。Agent的產(chǎn)生背景一個例子引入Qwen大模型fromutilsimportgetqwenmodelsllm,chat,getqwenmodels()chat.invoke("現(xiàn)在幾點了？")運行結(jié)果：AIMessage(content'我是一個AI模型，無法實時...

前言在上一章【???大模型三階段訓練方法(LLaMaFactory)??】內(nèi)容中主要了解一個大模型的訓練過程，無論是第三方的大模型還是自研的大模型，都需要部署到服務端，提供對應API接口供上層應用使用。所以，本章將主要了解vLLm+langchain的基本使用方法。大模型應用框架一般來說，大模型應用的整體結(jié)構(gòu)可以劃分為幾個層次：模型層：功能：負責處理輸入數(shù)據(jù)并生成輸出。代表：BERT、GPT、Qwen2等等推理層：功能：將大模型部署到服...

前言本章我們將通過LLaMAFactory具體實踐大模型訓練的三個階段，包括：預訓練、監(jiān)督微調(diào)和偏好糾正。大模型訓練回顧訓練目標訓練一個醫(yī)療大模型訓練過程實施準備訓練框架??LLaMAFactory??是一款開源低代碼大模型微調(diào)框架，集成了業(yè)界最廣泛使用的微調(diào)技術(shù)，支持通過WebUI界面零代碼微調(diào)大模型，目前已經(jīng)成為開源社區(qū)內(nèi)最受歡迎的微調(diào)框架，GitHub星標超過2萬。運行環(huán)境要求?硬件：GPU：推薦使用24GB顯存的顯卡或者更高配置...

前言上一章內(nèi)容我們初步了解了卷積、卷積神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡的搭建過程以及經(jīng)典的LeNet網(wǎng)絡結(jié)構(gòu)，本篇內(nèi)容將基于LeNet網(wǎng)絡結(jié)構(gòu)，實現(xiàn)手勢識別。手勢識別數(shù)據(jù)集介紹在開展手勢識別之前，我們需要先下載并初步了解數(shù)據(jù)集的情況。數(shù)據(jù)下載地址下載地址：手勢識別數(shù)據(jù)集├──train訓練集├──G0手勢0├──IMG1118.jpg手勢0的圖片├──...├──G1手勢1├──IMG1119.jpg├──...├──...├──G9手勢9├──test測試集├...

前言在上一章【??大模型的三大架構(gòu)及T5體驗??】中，我們體驗了EncoderDecoder架構(gòu)的T5模型。本章內(nèi)容，我們將以DecoderOnly架構(gòu)的Qwen模型入手，了解Qwen模型結(jié)構(gòu)、聊天模板的概念以及通過大模型進行翻譯、信息抽取等任務的嘗試。模型選擇訪問ModelScope官網(wǎng)，在模型庫搜索??Qwen2??。補充說明：Qwen27B是一個通用的Base模型。Qwen27BInstruct是經(jīng)過監(jiān)督微調(diào)SFT的模型，在處理指令時的表現(xiàn)通常會更好。Qwen模型簡介Qwen...