編者按：在使用大語言模型時(shí)，如何在保證輸出質(zhì)量的同時(shí)降低成本？在眾多數(shù)據(jù)輸出格式中，究竟應(yīng)該如何選擇？我們今天為大家?guī)淼奈恼轮?，作者通過實(shí)際測(cè)試給出建議：在某些場(chǎng)景下，相比廣泛使用的JSON格式，不妨考慮一下其他數(shù)據(jù)格式，做一些測(cè)試，挑選出既能控制成本又能保證穩(wěn)定性和速度的最佳選項(xiàng)。文章通過對(duì)比TSV、CSV、ColumnarJSON、YAML、TOML和JSON六種格式，從token使用量、響應(yīng)時(shí)間和實(shí)用性三個(gè)維度進(jìn)行了深入分析...

3月12日凌晨1點(diǎn)，OpenAI進(jìn)行了技術(shù)直播，開源了首個(gè)AgentSDK以及發(fā)布了ResponsesAPI，極大簡(jiǎn)化、增強(qiáng)智能體開發(fā)流程。AgentSDK特色功能之一就是支持多Agent之間的動(dòng)態(tài)任務(wù)協(xié)作，可以像Manus那樣開發(fā)超復(fù)雜的智能自動(dòng)化業(yè)務(wù)流程。例如，跨國(guó)電商需要處理來自全球不同地區(qū)的訂單，通過AgentSDK可以開發(fā)語言識(shí)別、庫存查詢、訂單實(shí)時(shí)更新、售后服務(wù)等多個(gè)Agent，并且在整個(gè)銷售、售后的過程中讓它們之間協(xié)同自動(dòng)化工作。ResponsesA...

AI驅(qū)動(dòng)的圖像識(shí)別技術(shù)正在改變各行各業(yè)，從醫(yī)療健康和安保，到自動(dòng)駕駛汽車和零售業(yè)。這些系統(tǒng)能分析海量視覺數(shù)據(jù)，以驚人的準(zhǔn)確度識(shí)別模式和物體。然而，傳統(tǒng)圖像識(shí)別模型面臨著不少挑戰(zhàn)：它們需要消耗大量計(jì)算資源，缺乏良好的擴(kuò)展性，而且通常難以高效處理大型數(shù)據(jù)集。隨著人們對(duì)更快、更可靠AI的需求增加，這些局限性成為了進(jìn)步的障礙。???XSample對(duì)比損失（XCLR）??采用了更精細(xì)的方法來克服這些挑戰(zhàn)。傳統(tǒng)的對(duì)比學(xué)習(xí)...

出品51CTO技術(shù)棧（微信號(hào)：blog51cto）“2025年將是Agent之年，這一年，ChatGPT和我們的開發(fā)工具將從僅僅回答問題，轉(zhuǎn)變?yōu)檎嬲秊槟阍诂F(xiàn)實(shí)世界中做事。”上周Manus通用智能體的發(fā)布之后帶火了Claude的MCP框架之后，OpenAI終于坐不住了，今天凌晨一點(diǎn)通過直播的形式，一口氣把自己內(nèi)部工程人員在用的Agent開發(fā)工具發(fā)布了出來。整體直播不長(zhǎng)，只有20分鐘，但足以讓外界從OpenAI的視角來見識(shí)一番以全球最先進(jìn)的基座模型來做出來的Ag...

UnifiedRewardModelforMultimodalUnderstandingandGeneration20250307｜FDU,SII,ShanghaiAILab,ShanghaiAcademyofArtificialIntelligenceforScience??75??http:arxiv.orgabs2503.05236v1??????https:huggingface.copapers2503.05236??????https:codegoat24.github.ioUnifiedReward??研究背景與意義本文提出了一種名為UNIFIEDREWARD的統(tǒng)一獎(jiǎng)勵(lì)模型，旨在解決多模態(tài)理解和生成任務(wù)中的偏好對(duì)齊問題?，F(xiàn)有模型通常...

引言解碼人類大腦處理語言的機(jī)制是神經(jīng)科學(xué)的核心目標(biāo)之一。人類語言處理由大腦的語言網(wǎng)絡(luò)（LanguageNetwork,LN）支持，這是一組位于大腦左側(cè)的前額葉和顳葉區(qū)域，具有對(duì)語言輸入的選擇性反應(yīng)能力。近年來，隨著機(jī)器學(xué)習(xí)的快速發(fā)展，基于大規(guī)模文本語料庫訓(xùn)練的下一詞預(yù)測(cè)的大型語言模型（LLMs）成為了模擬人類語言網(wǎng)絡(luò)內(nèi)部過程的有力工具。本文旨在探討大型語言模型如何與人類語言網(wǎng)絡(luò)對(duì)齊，并分析這種對(duì)齊在模型訓(xùn)練中的演化...

引言大型語言模型（LLMs）的推理能力近年來取得了顯著進(jìn)展，尤其是在訓(xùn)練后階段。諸如DeepSeekR1、KimiK1.5和OpenAIo1等模型展現(xiàn)了卓越的邏輯推理能力。然而，這些成果的可復(fù)現(xiàn)性和擴(kuò)展性仍面臨諸多挑戰(zhàn)，特別是在缺乏訓(xùn)練代碼和數(shù)據(jù)集的情況下。LogicRL框架的提出旨在通過基于規(guī)則的強(qiáng)化學(xué)習(xí)（RL）方法，填補(bǔ)這一研究空白，并推動(dòng)LLMs推理能力的進(jìn)一步發(fā)展。LogicRL通過在邏輯謎題上進(jìn)行訓(xùn)練，成功開發(fā)了類似DeepSeekR1的推理...

2025年3月10日，阿里巴巴通義團(tuán)隊(duì)正式開源了推理模型QwQ32B，以320億參數(shù)的精悍體量實(shí)現(xiàn)了與6710億參數(shù)的DeepSeekR1滿血版性能比肩。這款模型不僅憑借極低的部署成本引發(fā)全球開發(fā)者熱議，更通過強(qiáng)化學(xué)習(xí)（RL）的創(chuàng)新應(yīng)用，標(biāo)志著AI技術(shù)從“參數(shù)競(jìng)賽”向“效率革命”的歷史性轉(zhuǎn)變。以下，我們將從技術(shù)突破、性能表現(xiàn)、應(yīng)用場(chǎng)景、行業(yè)影響、開源生態(tài)以及部署安裝教程六個(gè)維度，全面剖析QwQ32B的獨(dú)特魅力。一、技術(shù)突破：強(qiáng)化學(xué)習(xí)...

1、目錄LLMs的演變格局超越文本：擁抱多模態(tài)思考模型：何時(shí)讓人工智能“思考”工具使用：互聯(lián)網(wǎng)搜索和深度研究深度研究：通過集成搜索和推理生成全面報(bào)告文件上傳用于文檔和多媒體Python解釋器：動(dòng)態(tài)代碼執(zhí)行和數(shù)據(jù)分析自定義視覺和代碼工具：Claude工件和光標(biāo)作曲器音頻交互和NotebookLM播客生成視覺模態(tài)：圖像輸入OCR、圖像輸出和視頻處理個(gè)性化：記憶、自定義指令和自定義GPTs初學(xué)者的經(jīng)驗(yàn)教訓(xùn)：最大化你的LLM體驗(yàn)結(jié)束語2、L...

總結(jié)，模型門戶留給GPT5去做了，4.5還是像Altman之前說的就是最后一代純預(yù)訓(xùn)練。1一個(gè)超巨大的模型，grok3級(jí)別（10萬卡），AK說每個(gè)0.5要提升10倍預(yù)訓(xùn)練算力，那對(duì)比GPT4的1.8T,也就說4.5是一個(gè)18T(18000B)級(jí)別的模型，所以必須跨多campus,異步梯度下降的訓(xùn)練方式(要求太高，這個(gè)目前只有g(shù)rok,oai,gemini,3家真正嚴(yán)格實(shí)踐過，anthropic都不行)。2擁有更多的知識(shí)(o3和人類比如博士生做題的合成數(shù)據(jù))，比4o能力提升百分之50（其實(shí)...

刷小紅書，看到下面這種爆款圖文，就拿DeepSeek的深度推理能力拆解了下文案特點(diǎn)，然后大致復(fù)刻了一下，這里使用的工具組合是DeepSeek+即夢(mèng)AI+美圖秀秀「DeepSeek」擅長(zhǎng)邏輯構(gòu)建與內(nèi)容生成，其深度思考能力最適合分析這種文案風(fēng)格特點(diǎn)，而且還會(huì)把中間的思考過程展示出來，就很容易會(huì)出來比原來文案更好的效果?！讣磯?mèng)AI」主要用來生成IP形象表情包（可以是老奶奶、現(xiàn)代版關(guān)羽、古風(fēng)哪吒、水豚等等）?！该缊D秀秀」將素材整合，...

快手的Chang等人于2023年在論文《PEPNet:ParameterandEmbeddingPersonalizedNetworkforInfusingwithPersonalizedPriorInformation》中正式提出了PEPNet模型，用于建模推薦系統(tǒng)中的多任務(wù)多領(lǐng)域問題。本文將從PEPNet模型提出的動(dòng)機(jī)、問題建模、模型結(jié)構(gòu)及工程優(yōu)化策略方面進(jìn)行詳細(xì)的闡述。1.PEPNet模型的提出動(dòng)機(jī)（1）多任務(wù)學(xué)習(xí)：出發(fā)點(diǎn)是不同的任務(wù)之間存在稀疏性和依賴性。但由于不同任務(wù)具有獨(dú)特的稀疏性和相互影響，很難在...

前幾天寫的文章??《Trae+Dify10分鐘構(gòu)建DataMcpServer與Agent，和Excel說再見！》??，跟大家一起實(shí)現(xiàn)了簡(jiǎn)單的大模型數(shù)據(jù)處理，返回的最后結(jié)果只是json格式的數(shù)據(jù)。今天我們做一個(gè)完整的聊天應(yīng)用，可以在聊天結(jié)果中實(shí)現(xiàn)數(shù)據(jù)可視化分析。標(biāo)題說效果直逼ChatGPT，還是有點(diǎn)差距的，這差距多大呢，差不多一光年吧！畢竟我們今天做的還只是玩具。我們先一起來看一下ChatGPT如何實(shí)現(xiàn)數(shù)據(jù)可視化結(jié)果的呈現(xiàn)。很顯然，ChatGPT的思路和...

這兩天AI產(chǎn)品的頻繁出圈，都把大家整焦慮了，我朋友圈有同學(xué)宣布一個(gè)月不看AI新聞，閉關(guān)了。為啥，都是Manus鬧的。當(dāng)然，背后其實(shí)是自媒體無底線的尬吹。我今天一直在考慮要不要蹭Manus的流量，內(nèi)心糾結(jié)了半天，后來看到某大V連續(xù)兩天發(fā)的文章，就釋懷了。人家是真本事啊，第一天把Manus吹上天，第二天又發(fā)文理性批評(píng)，真是妙啊，好人壞人都當(dāng)了，這流量賺的的是滿滿的。真是昨天叫人家小甜甜，今天改叫人家牛夫人了，像極了一...

PathRAG也是一種新型GraphbasedRAG方法，通過檢索索引圖中的關(guān)鍵關(guān)系路徑，減少噪聲并優(yōu)化LLM提示。其核心創(chuàng)新在于基于流的剪枝算法和路徑為基礎(chǔ)的提示策略，特別適用于捕捉復(fù)雜數(shù)據(jù)集中的關(guān)系。（其實(shí)可以看做相比GraphRAG假如剪枝算法和路徑提示策略，減少噪聲并提升性能）三種GraphbasedRAG對(duì)比總結(jié)（PathRAG、GraphRAG、LightRAG）：?PathRAG：通過從索引圖中檢索關(guān)鍵的關(guān)系路徑來減少冗余信息。PathRAG使用基于流的剪枝算...

一、引言：AI發(fā)展浪潮中的新探索在當(dāng)今科技飛速發(fā)展的時(shí)代，人工智能（AI）正以前所未有的速度不斷前進(jìn)?？茖W(xué)家們持續(xù)鉆研，開發(fā)出各種用于知識(shí)共享、信息表達(dá)、推理以及決策的創(chuàng)新方法。近年來，檢索增強(qiáng)生成（RetrievalAugmentedGeneration，簡(jiǎn)稱RAG）技術(shù)異軍突起，備受矚目。它能夠?qū)⒋笮驼Z言模型與外部最新知識(shí)相結(jié)合，為模型的輸出提供堅(jiān)實(shí)的事實(shí)依據(jù)。與此同時(shí)，AI智能體，作為一種能夠感知環(huán)境并做出響應(yīng)的智能軟件，在...

01、概述我們可能已經(jīng)聽說了Deepseek，但你是否也注意到Ollama上提到了Deepseek的蒸餾模型？或者，如果你嘗試過GroqCloud，可能會(huì)看到類似的模型。那么，這些“distil”模型到底是什么呢？在這一背景下，“distil”指的是組織發(fā)布的原始模型的蒸餾版本。蒸餾模型本質(zhì)上是較小且更高效的模型，設(shè)計(jì)目的是復(fù)制較大模型的行為，同時(shí)減少資源需求。這種技術(shù)由GeoffreyHinton在2015年的論文“DistillingtheKnowledgeinaNeuralNetwork...

01、概述在人工智能領(lǐng)域，開發(fā)既緊湊又高性能的語言模型一直是一個(gè)巨大的挑戰(zhàn)。大型模型雖然表現(xiàn)卓越，但往往需要龐大的計(jì)算資源，這讓許多硬件能力有限的用戶和組織望而卻步。與此同時(shí)，市場(chǎng)對(duì)多任務(wù)處理、多語言支持和高效準(zhǔn)確響應(yīng)的需求日益增長(zhǎng)。如何在性能、可擴(kuò)展性和可訪問性之間找到平衡，尤其是在本地部署和數(shù)據(jù)隱私方面，成為了一個(gè)關(guān)鍵問題。這也催生了創(chuàng)新的需求：我們需要更小、更高效的模型，既能媲美大型模型的...

分塊策略在RAG中至關(guān)重要，目的是提高效率、相關(guān)性和上下文保持。分塊能減少計(jì)算開銷，增加檢索相關(guān)信息的可能性，同時(shí)保持信息完整性。但也存在風(fēng)險(xiǎn)，如上下文丟失、冗余和不一致性。選擇策略需考慮文檔類型（結(jié)構(gòu)化vs非結(jié)構(gòu)化）、查詢復(fù)雜性、資源可用性和期望結(jié)果（速度vs準(zhǔn)確性vs上下文）。以下是13種獨(dú)特分塊策略的詳細(xì)描述，按策略名稱、描述、優(yōu)點(diǎn)、缺點(diǎn)和實(shí)施建議。僅供參考。策略名稱描述優(yōu)點(diǎn)缺點(diǎn)實(shí)施建議固定長(zhǎng)度分塊...

Phi4Multimodal是一種參數(shù)高效的多模態(tài)模型，通過LoRA適配器和模式特定路由器實(shí)現(xiàn)文本、視覺和語音音頻的無縫集成。訓(xùn)練過程包括多階段優(yōu)化，確保在不同模式和任務(wù)上的性能，數(shù)據(jù)來源多樣，覆蓋高質(zhì)量合成數(shù)據(jù)。它的設(shè)計(jì)體現(xiàn)了小型語言模型在多模態(tài)任務(wù)上的潛力。模型架構(gòu)模型架構(gòu)Phi4Multimodal的基礎(chǔ)是Phi4Mini語言模型，這是一個(gè)3.8億參數(shù)的模型，設(shè)計(jì)為高效處理文本任務(wù)。架構(gòu)包括：Transformer層和維度：32層Transformer，...