最近MCP這么火，了解了一段時(shí)間也該寫篇總結(jié)，那就開始吧。1.什么是MCPMCP（ModelContextProtocol，模型上下文協(xié)議），2024年11月底，由Anthropic推出的一種開放標(biāo)準(zhǔn)，旨在統(tǒng)一大型語言模型（LLM）與外部數(shù)據(jù)源和工具之間的通信協(xié)議。官網(wǎng)的介紹：https:modelcontextprotocol.iointroductionMCP包括幾個(gè)核心功能：Resources是允許服務(wù)器公開可由客戶端讀取并用作LLM交互上下文的數(shù)據(jù)和內(nèi)容，包括文件內(nèi)容，數(shù)據(jù)庫，API，圖片等...

1.LanceDB介紹LanceDB是一個(gè)開源的用Rust實(shí)現(xiàn)的向量數(shù)據(jù)庫（https:github.comlancedblancedb），它的主要特點(diǎn)是：提供單機(jī)服務(wù)，可以直接嵌入到應(yīng)用程序中支持多種向量索引算法，包括Flat、HNSW、IVF等。支持全文檢索，包括BM25、TFIDF等。支持多種向量相似度算法，包括Cosine、L2等。與Arrow生態(tài)系統(tǒng)緊密集成，允許通過SIMD和GPU加速在共享內(nèi)存中實(shí)現(xiàn)真正的零拷貝訪問。2.LanceDB安裝pipinstalllancedb預(yù)覽版本：pipinstallpre...

我們?cè)趯慞rompt可能經(jīng)常遇到不準(zhǔn)確或者無法獲得外部知識(shí)，因此本文講述CoT和ReAct如何運(yùn)作并提高大語言模型準(zhǔn)確性。第一部分：CoT（思維鏈）1、什么是CoT通用的Prompt：問題：Roger有5個(gè)網(wǎng)球。他買了2罐網(wǎng)球。每罐有3個(gè)網(wǎng)球。他現(xiàn)在有多少個(gè)網(wǎng)球？答案：答案是11個(gè)。問題：自助餐廳有23個(gè)蘋果。如果他們用了20個(gè)來做午餐，又買了6個(gè)，他們現(xiàn)在有多少個(gè)蘋果？輸出答案：答案是29個(gè)。CoT的Prompt：問題：Roger有5個(gè)網(wǎng)球。他買了2...

前面一篇文章介紹了??《從0開發(fā)大模型之DeepSeek的GRPO》??，并且實(shí)現(xiàn)了一個(gè)簡單版本的GRPO?代碼，不過從工程領(lǐng)域來看，并沒有復(fù)現(xiàn)DeepSeekR1，于是最近申請(qǐng)了48G的顯存，結(jié)合一些開源的方案復(fù)現(xiàn)ahamonent，并給出完整的代碼和工具鏈。1、什么是ahamonentDeepSeekR1論文中提到，模型讓作者「見證了強(qiáng)化學(xué)習(xí)的力量和美感」，在DeepSeekR1Zero的中間版本，「頓悟時(shí)刻」來了：模型學(xué)會(huì)了以人類的語氣進(jìn)行反思。ahamonent2、使...

最近在看一篇github上大佬的文章，從0開始訓(xùn)練llama3，覺得對(duì)于《從0開發(fā)大模型》有點(diǎn)幫助，于是翻譯一下，發(fā)現(xiàn)其中很多內(nèi)容當(dāng)前系列文章的知識(shí)點(diǎn)相似。原文：https:github.comnaklechallama3fromscratch其中metallamaMetaLlama38B文件地址：https:huggingface.cometallamaMetaLlama38Btreemainoriginal1、Tokenizer原始代碼沒有實(shí)現(xiàn)tokenizer，而是使用llama3的tokenizer.model，實(shí)現(xiàn)代碼如下：執(zhí)行：pipinstallblobfile執(zhí)行：...

最近，DeepSeekR1的發(fā)布為國產(chǎn)大模型爭光了（太強(qiáng)了），不過GRPO算法源自DeepSeekMath7B模型，該模型在MATH基準(zhǔn)測(cè)試中取得了優(yōu)異成績，論文發(fā)表于2024年2月份：https:huggingface.copapers2402.03300，以下是該論文的摘要原文：Mathematicalreasoningposesasignificantchallengeforlanguagemodelsduetoitscomplexandstructurednature.Inthispaper,weintroduceDeepSeekMath7B,whichcontinuespretrainingDeepSeekCoderBasev1.57Bw...

1、為什么需要DPORafailov等人在2023年發(fā)表了一篇論文《DirectPreferenceOptimization:YourLanguageModelisSecretlyaRewardModel》，該論文提出了一種新的訓(xùn)練方法，稱為直接偏好優(yōu)化（DPO），該論文介紹：雖然大規(guī)模無監(jiān)督語言模型(LM)可以學(xué)習(xí)廣泛的世界知識(shí)和一些推理技能，但由于其訓(xùn)練完全無監(jiān)督，因此很難精確控制其行為?，F(xiàn)有的獲得這種可控性的方法是收集模型生成相對(duì)質(zhì)量的人類標(biāo)簽，并微調(diào)無監(jiān)督語言模型以符合這些偏...

1、什么是位置編碼在語言中，一句話是由詞組成的，詞與詞之間是有順序的，如果順序亂了或者重排，其實(shí)整個(gè)句子的意思就變了，所以詞與詞之間是有順序的。在循環(huán)神經(jīng)網(wǎng)絡(luò)中，序列與序列之間也是有順序的，所以循環(huán)神經(jīng)網(wǎng)絡(luò)中，序列與序列之間也是有順序的，不需要處理這種問題。但是在Transformer中，每個(gè)詞是獨(dú)立的，所以需要將詞的位置信息添加到模型中，讓模型維護(hù)順序關(guān)系。位置編碼位置編碼就是將helloworld!的token和位置...