隨著人工智能和機(jī)器學(xué)習(xí)技術(shù)的迅猛發(fā)展，像Llama370B這樣的龐大語言模型已經(jīng)成為了研究、開發(fā)和應(yīng)用中的重要工具。這篇文章將詳細(xì)介紹如何在個人電腦上運(yùn)行Llama370B大模型，并涵蓋硬件要求、軟件環(huán)境配置、安裝步驟、運(yùn)行示例和常見問題的解決方案。雖然運(yùn)行這樣一個大規(guī)模的模型在性能上有限制，但對于實(shí)驗和學(xué)習(xí)非常有幫助。硬件要求運(yùn)行Llama370B這樣的大規(guī)模模型對硬件有較高的要求。一般來說，你需要以下硬件配置：CPU:至...

這個工作目標(biāo)是，找到一種簡單的方法，可以實(shí)現(xiàn)testtimescalling。關(guān)鍵點(diǎn)有2個，構(gòu)建高質(zhì)量的監(jiān)督數(shù)據(jù)1k，用于監(jiān)督微調(diào)；一個BudgetForcing的方法，用于限定模型的推理過程。經(jīng)過這么一折騰，模型的性能隨著推理token數(shù)量變長而編號。如何構(gòu)建高質(zhì)量的1k數(shù)據(jù)初始收集：從16個不同的來源收集了59,029個問題，包括NuminaMATH、AIME、OlympicArena、OmniMath、AGIEval等。最終篩選：通過質(zhì)量、難度和多樣性三個標(biāo)準(zhǔn)，從59K個問題中...

在當(dāng)今數(shù)字化信息爆炸的時代，高效的知識管理與創(chuàng)作工具成為了學(xué)術(shù)研究、教育教學(xué)、企業(yè)運(yùn)營及個人成長等眾多領(lǐng)域的迫切需求。OpenNotebook作為一款開源且高度注重隱私的創(chuàng)新工具，以其獨(dú)特的功能優(yōu)勢和技術(shù)特色，為用戶提供了強(qiáng)大的筆記管理與智能創(chuàng)作能力，成為了Google'sNotebookLM的有力替代方案。本文將深入剖析OpenNotebook的項目架構(gòu)、技術(shù)原理、功能特性、應(yīng)用場景及使用方法，助力讀者全面了解并充分利用這一前沿工具...

近期，DeepSeek的發(fā)布在開源社區(qū)引起了廣泛關(guān)注。成功再次將人們的目光聚焦到了模型蒸餾技術(shù)上來。那么，究竟什么是模型蒸餾？為什么它能幫助我們構(gòu)建如此高效的模型？讓我們一起深入探討這個話題。LLMDistillation將大型生成模型定位為“teacher”，將較小的模型定位為“student”。student模型可以是簡單的模型（如logisticregression）或基礎(chǔ)模型（如BERT）。在最基本的distillation版本中，數(shù)據(jù)科學(xué)家從未標(biāo)記的數(shù)據(jù)開始，...

嘿，大家好！這里是一個專注于AI智能體的頻道早上，OpenAI又在折騰了，現(xiàn)在o3mini支持思維鏈可視了！當(dāng)然能看到的，既不是原始思維鏈的赤裸展示，也不再是完全的黑箱操作。圖片有限透明的技術(shù)妥協(xié)o3mini的思維鏈展示并非實(shí)時思維流，而是經(jīng)過三重過濾的精致產(chǎn)物：安全審查層：自動剔除涉及倫理爭議的推理片段（如怎么做炸藥）復(fù)雜性蒸餾：將數(shù)學(xué)證明過程壓縮為步驟大綱，保留結(jié)論但隱去關(guān)鍵參數(shù)多語言轉(zhuǎn)換：非英語用戶的思維鏈...

編輯伊風(fēng)OpenAI又Open了一點(diǎn)點(diǎn)！奧特曼預(yù)告的o3"onemorething"來了！圖片OpenAI突然更新了免費(fèi)和付費(fèi)用戶的o3mini思維鏈。在這一更新之后，我們終于能看看模型的推理步驟以及它如何得出答案的過程了！同時，據(jù)OpenAI介紹，使用o3mini并選擇“高推理”模式的高級ChatGPT訂閱用戶也將看到這一改進(jìn)后的推理顯示。OpenAI在推文中還給了一個例子，用戶問ChatGPT“今天為啥不是周五呢？”o3思考了一下，甚至還用了個??的emoji，“我也...

在2025年當(dāng)下，大語言模型（LLM）依舊無法獲取用戶的私有數(shù)據(jù)。當(dāng)用戶向其詢問某些與個人相關(guān)的問題時，大語言模型要么憑借推測進(jìn)行回應(yīng)，要么給出錯誤的解答。這體現(xiàn)了大語言模型存在的固有局限性——它們僅基于公開信息進(jìn)行訓(xùn)練，無法獲取用戶的私有上下文信息。內(nèi)存代理（MemoryAgent）則通過實(shí)時且安全地將用戶的私有數(shù)據(jù)與任意大語言模型進(jìn)行鏈接，有效解決了上述問題。在本教程中，筆者將詳細(xì)指導(dǎo)你如何借助Langbase（一...

編輯伊風(fēng)出品51CTO技術(shù)棧（微信號：blog51cto）太魔鬼了！上周李飛飛團(tuán)隊發(fā)了篇新論文，再次降低了復(fù)刻o1能力的成本。低到什么程度呢？論文里說，在現(xiàn)成的預(yù)訓(xùn)練模型（用的是阿里系開源的Qwen2.532BInstruct）進(jìn)行監(jiān)督微調(diào)（SFT），使用構(gòu)建的小規(guī)模數(shù)據(jù)集，僅耗時26分鐘，就在16張H100GPU上完成訓(xùn)練。據(jù)研究人員介紹，這樣的算力租賃成本大約在20美元左右！圖片這么省時省錢的模型，居然和o1預(yù)覽版性能掰手腕：實(shí)驗結(jié)果顯示，...

這個春節(jié)，DeepSeek實(shí)在太火了，無須贅述。今天，我們直接講干貨。用10個問題帶大家了解：DeepSeek怎么用，如何與DeepSeek高質(zhì)量對話，以及一些隱藏技巧。1、巧用DeepSeek的三種模式DeepSeek提供了三種聊天模式基礎(chǔ)模型、深度思考（R1）和聯(lián)網(wǎng)搜索，你可以根據(jù)不同的情境和需求，自由選擇合適的模式?；A(chǔ)模型已在去年12月升級至DeepSeekV3版本，其性能可與全球領(lǐng)先的開源和閉源模型相媲美，包括4o、Claude3.5Sonnet、Qwen2.5、...

MicrosoftAutoGen是一款很棒的開源框架，專為智能體協(xié)作設(shè)計，能助開發(fā)者輕松構(gòu)建強(qiáng)大、可擴(kuò)展且智能的多智能體系統(tǒng)。它融合大型語言模型優(yōu)勢、模塊化架構(gòu)和豐富生態(tài)，在智能體AI應(yīng)用中表現(xiàn)出色。今天為大家深入解析AutoGen的特性、用例、優(yōu)勢、實(shí)例及評估機(jī)制，帶你探索這個神奇框架，感受AutoGen為開發(fā)帶來的便利與創(chuàng)新。1.AutoGen簡介AutoGen是開發(fā)者的得力助手，能幫助開發(fā)者創(chuàng)建智能體，使其相互協(xié)作完成復(fù)雜任務(wù)。該框架...

大型語言模型(LLM)正在極大地影響AI研究，引發(fā)了關(guān)于迄今為止發(fā)生了什么變化以及如何塑造該領(lǐng)域未來的討論。為了澄清這些問題，有研究人員分析新的數(shù)據(jù)集，其中包含16,979篇與LLM相關(guān)的arXiv論文，重點(diǎn)關(guān)注2023年與20182022年相比的最新趨勢。首先研究人員觀察到LLM研究越來越多地影響著社會，這從計算機(jī)和社會arXiv中LLM論文提交量增長20倍可以看出。大量新作者來自非計算機(jī)的NLP領(lǐng)域，推動了各個學(xué)科擴(kuò)展。其次，令人驚訝的是...

今天看到vLLM的朋友圈發(fā)布了DeepSeekR1的PP支持，立刻開始我的搗鼓之旅，假如我訓(xùn)練的超大MoE上線了，也得做好技術(shù)準(zhǔn)備工作是不嘛。把踩坑經(jīng)驗給大家分享一下，希望能夠相比于官方文檔更白話一點(diǎn)。DistributedInferenceandServing:https:docs.vllm.aienlatestservingdistributedserving.htmlrunningvllmonmultiplenodes知乎游凱超說一定要讓整個過程變得絲滑無比，我倆配合做了幾個驗證，現(xiàn)在應(yīng)該只需要Step0和Step3就可以run起...

WebWalker:BenchmarkingLLMsinWebTraversal檢索增強(qiáng)生成（RAG）在開放域問答任務(wù)中表現(xiàn)出色。然而，傳統(tǒng)搜索引擎可能會檢索淺層內(nèi)容，限制了大型語言模型（LLM）處理復(fù)雜、多層次信息的能力。為了解決這個問題，我們引入了WebWalkerQA，一個旨在評估LLM執(zhí)行網(wǎng)頁遍歷能力的基準(zhǔn)。它評估LLM系統(tǒng)性地遍歷網(wǎng)站子頁面以獲取對應(yīng)信息的能力。同時我們提出了WebWalker，一個通過explorercritic范式模擬人類網(wǎng)頁導(dǎo)航的multiagent框架。...

一、背景本文中我們繼續(xù)介紹小紅書用于多模態(tài)場景筆記推薦的NoteLLM2。對應(yīng)的論文為：[2405.16789]NoteLLM2:MultimodalLargeRepresentationModelsforRecommendation[1]二、摘要LLM在文本理解方面展現(xiàn)了卓越能力，現(xiàn)有研究也已探討了其在文本Embedding任務(wù)中的應(yīng)用，然而，利用LLM輔助多模態(tài)表征任務(wù)的研究尚不多見。本文作者旨在探索LLM在多模態(tài)ItemtoItem（I2I）推薦中增強(qiáng)多模態(tài)表征的潛力。如下圖Figure1所示，一種可行的方...

圖片RLHF的規(guī)?；i：真的值得無限投入算力嗎？強(qiáng)化學(xué)習(xí)自人類反饋（RLHF）已成為大語言模型（LLM）后訓(xùn)練的關(guān)鍵步驟，幫助ChatGPT、Llama等模型更符合人類偏好。然而，RLHF是否像預(yù)訓(xùn)練那樣，能通過增加算力和數(shù)據(jù)帶來持續(xù)提升？清華大學(xué)與知乎AI的最新研究對此進(jìn)行了系統(tǒng)性分析，揭示了RLHF的規(guī)?；瘶O限，并提出優(yōu)化策略。圖片研究方法：三大核心變量的深入探究研究團(tuán)隊圍繞模型規(guī)模、數(shù)據(jù)多樣性、推理計算預(yù)算三大因素，訓(xùn)...

VLLM是一款經(jīng)過優(yōu)化的推理引擎，在令牌生成速度和內(nèi)存管理效率上表現(xiàn)出色，是大規(guī)模AI應(yīng)用的理想之選。Ollama則是一個輕量級、易上手的框架，讓在本地電腦上運(yùn)行開源大語言模型變得更加簡單。那么，這兩個框架該選哪一個呢？接下來，我們會從性能、易用性、適用場景、替代方案，以及詳細(xì)的安裝步驟等方面進(jìn)行全面對比，幫助你做出更合適的選擇。一、VLLM和Ollama是什么？基礎(chǔ)知識解析在深入探討之前，我們先來了解一下這兩個框...

?還在為大模型推理速度慢、成本高而煩惱嗎？這篇來自CMU和清華大學(xué)的論文給你帶來了一個顛覆性的解決方案！他們發(fā)現(xiàn)，在推理大型語言模型時，“大力出奇跡”不再是真理！通過深入研究推理過程中的計算與性能關(guān)系，他們提出了“推理縮放定律”，并革命性地推出了一種名為REBASE的全新算法。REBASE就像一位聰明的向?qū)?，能夠巧妙地利用獎勵信號，指引模型在推理的迷宮中高效探索，避免了傳統(tǒng)方法中耗時費(fèi)力的盲目搜索。實(shí)驗結(jié)果令...

編輯伊風(fēng)出品51CTO技術(shù)棧（微信號：blog51cto）DeepSeek的火熱，讓Google坐不住了！深夜，Google推出了Gemini2.0全家桶，一口氣推出了三個模型型號：Gemini2.0Flash、Gemini2.0FlashLiteGemini2.0Pro。圖片看技術(shù)報告，2.0系列的三個模型在通用、代碼、推理、事實(shí)性、多語言等方面指標(biāo)如下。比起此前Gemini1.5系列著實(shí)有了多維度的進(jìn)化，但明顯沒有性能的斷層式飛躍。圖片再來看最近AI圈關(guān)注的重中之重——推理。谷歌也在Gemini...

論文鏈接：https:arxiv.orgpdf2502.01993代碼&模型鏈接：https:github.comJianzeLi114FluxSR亮點(diǎn)直擊開發(fā)了FluxSR，一種基于FLUX.1dev的單步擴(kuò)散RealISR模型。這是首個基于超過120億參數(shù)大模型的單步擴(kuò)散RealISR模型。提出了一種流軌跡蒸餾（FTD）方法，明確建立了噪聲到圖像流與低分辨率到高分辨率流之間的關(guān)系。在噪聲到圖像流保持不變的情況下，能夠保留T2I模型中的高度逼真性，并有效地將其轉(zhuǎn)移到低分辨率到高分辨率的流中...

本地電腦部署主要適用于以下5種場景：第一、設(shè)備性能較強(qiáng)，配備獨(dú)立顯卡，能夠支撐高效運(yùn)行。第二、需要處理敏感數(shù)據(jù)，對數(shù)據(jù)安全性有較高要求，以防泄露。第三、需要與本地工作流程緊密結(jié)合，應(yīng)對頻繁或復(fù)雜的任務(wù)處理。第四、日常頻繁使用，且API調(diào)用成本較高，本地部署有助于降低成本。第五、希望在開源模型基礎(chǔ)上，進(jìn)行個性化定制和優(yōu)化。1、DeepSeekR1模型部署2步搞定本部分內(nèi)容將重點(diǎn)闡述如何在本地環(huán)境下利用Ollama來部...