訓(xùn)練一個(gè)好的向量模型的重點(diǎn)在于最大限度地利用了更多、更高質(zhì)量的負(fù)樣本，來訓(xùn)練模型。騰訊提出的Conanembedding，采用了動(dòng)態(tài)硬負(fù)樣本挖掘方法，以便在整個(gè)訓(xùn)練過程中向模型展示更多具有挑戰(zhàn)性的負(fù)樣本。最近發(fā)布ConanembeddingV2版本，在MTEB榜單上已經(jīng)超越了BGE等一眾傳統(tǒng)豪強(qiáng)。支持中、英雙語一、ConanembeddingV2V1版本主要基于通用預(yù)訓(xùn)練的雙向Bert模型進(jìn)行Embedding任務(wù)的訓(xùn)練。V2版本從頭訓(xùn)練了原創(chuàng)詞表和模型結(jié)構(gòu)的大...

文檔問答太難了含有豐富文本和視覺元素（如圖表、圖像等）的長(zhǎng)文檔，在進(jìn)行文檔問答時(shí)，現(xiàn)有的方案有其局限性：傳統(tǒng)的大型語言模型（LLMs）僅能處理文本信息大型視覺語言模型（LVLMs）雖然能夠處理視覺內(nèi)容，但在處理長(zhǎng)文檔時(shí)往往效率低下，并且難以對(duì)文本和視覺信息進(jìn)行有效的融合與推理?，F(xiàn)有的檢索增強(qiáng)生成（RAG）方法雖然能夠從長(zhǎng)文檔中提取關(guān)鍵信息，但它們通常僅依賴于單一模態(tài)（文本或圖像）進(jìn)行檢索，缺乏跨模態(tài)的信息...

AutoAgent是將智能體開發(fā)過程從傳統(tǒng)的編程模式轉(zhuǎn)變?yōu)橐环N自然語言驅(qū)動(dòng)的自動(dòng)化過程。通過模擬現(xiàn)代計(jì)算機(jī)操作系統(tǒng)的工作方式，將復(fù)雜的智能體開發(fā)任務(wù)分解為多個(gè)模塊化的組件通過自然語言接口實(shí)現(xiàn)這些組件之間的交互和協(xié)調(diào)。這種方法不僅降低了智能體開發(fā)的門檻，還提高了開發(fā)效率和系統(tǒng)的靈活性。AutoAgent架構(gòu)AutoAgent框架基于其四個(gè)關(guān)鍵組件：智能體系統(tǒng)工具（AgenticSystemUtilities）提供了基礎(chǔ)的多智能體架構(gòu)，其中包含專...

LLM代理正變得越來越普遍，似乎取代了我們熟悉的“常規(guī)”對(duì)話式LLM。這些令人難以置信的功能并不容易創(chuàng)建，需要許多組件協(xié)同工作。本文中提供了60多個(gè)自定義視覺對(duì)象，您將探索LLM代理領(lǐng)域、它們的主要組件，并探索多代理框架。什么是LLM代理要了解什么是LLM代理，讓我們首先探索LLM的基本功能。傳統(tǒng)上，LLM只做下一個(gè)標(biāo)記預(yù)測(cè)。通過連續(xù)對(duì)許多tokens進(jìn)行采樣，我們可以模擬對(duì)話并使用LLM為我們的查詢提供更廣泛的答案。然而，...

Instructor是一個(gè)用于處理大型語言模型（LLMs）結(jié)構(gòu)化輸出的庫，基于Pydantic構(gòu)建，支持多種LLM。主要功能包括驗(yàn)證、重試管理、流式響應(yīng)等。主要目的是簡(jiǎn)化與LLM交互時(shí)的結(jié)構(gòu)化輸出處理，避免手動(dòng)解析文本帶來的麻煩。優(yōu)點(diǎn)：通過Pydantic模型定義輸出結(jié)構(gòu)，直接映射LLM的響應(yīng)到類型安全的Python對(duì)象。例如，從自然語言中提取用戶信息時(shí)，只需定義??User(name:str,age:int)??模型，即可自動(dòng)解析并驗(yàn)證結(jié)果支持OpenAI、Anthro...

最近DeepseekR1大火，標(biāo)題黨紛紛湊熱鬧，s1真的有這么牛嗎？下面，我們來解讀一下S1S1用了不到50美元，訓(xùn)練出了媲美Deepseek的原因微調(diào)樣本量小，所需訓(xùn)練資源少：構(gòu)造微調(diào)樣本時(shí)，精心挑選了1000個(gè)問題，通過GeminiThinkingExperimental中提取這些問題的推理軌跡和答案。實(shí)驗(yàn)中發(fā)現(xiàn)，隨機(jī)選擇、選擇具有最長(zhǎng)推理軌跡的樣本或僅選擇最大多樣性的樣本，都會(huì)導(dǎo)致性能顯著下降。因此，使用59K個(gè)示例的完整數(shù)據(jù)池（s1K的超集）進(jìn)行...

一、JanusPro能做5種任務(wù)1.1圖片描述1.2地點(diǎn)識(shí)別1.3背景推理1.4OCR文字識(shí)別1.5文圖生成二、JanusPro原理JanusPro的核心設(shè)計(jì)原則采用自回歸框架，通過解耦視覺編碼，解決多模態(tài)理解和生成任務(wù)之間的沖突。通過獨(dú)立的編碼方法將原始輸入轉(zhuǎn)換為特征，然后由統(tǒng)一的自回歸變換器進(jìn)行處理。對(duì)于多模態(tài)理解任務(wù)，使用SigLIP編碼器從圖像中提取高維語義特征，并將其展平為一維序列，通過理解適配器將圖像特征映射到語言模型的輸入空間。...

在商業(yè)環(huán)境中，決策過程通常涉及數(shù)據(jù)分析，以選擇最合適的方案來實(shí)現(xiàn)特定目標(biāo)。例如，制藥公司Pfizer可能需要決定哪些工廠應(yīng)該運(yùn)營(yíng)或停止，以及每個(gè)工廠應(yīng)該雇傭多少員工，以最小化生產(chǎn)成本并保持準(zhǔn)時(shí)交付。這一過程通常分為三個(gè)步驟：制定分析計(jì)劃、檢索必要數(shù)據(jù)、基于數(shù)據(jù)做出決策。其中最困難的部分就是，人類需要制定分析決策planRAG的目標(biāo)是用LLM替代人類角色，實(shí)現(xiàn)整個(gè)決策過程的自動(dòng)化。PlanRAG決策問答（DecisionQA）任...

QueryOptmization查詢優(yōu)化(QueryOptmization)旨在提高LLMs理解和回答查詢的效率和質(zhì)量，尤其是在涉及復(fù)雜查詢的檢索增強(qiáng)生成（RetrievalAugmentedGeneration,RAG）場(chǎng)景中。RAG通過動(dòng)態(tài)檢索和利用最新相關(guān)信息來彌補(bǔ)LLMs的局限性，從而提供一種成本效益高的解決方案，以應(yīng)對(duì)LLMs可能產(chǎn)生看似合理但不準(zhǔn)確回答的挑戰(zhàn)。四種主要的查詢優(yōu)化方法介紹擴(kuò)展（Expansion）通過內(nèi)部擴(kuò)展和外部擴(kuò)展兩種方式，增加查詢的覆蓋范圍和上下文信...

當(dāng)前RAG的檢索、召回模塊，受到了傳統(tǒng)BERT模型只支持512長(zhǎng)度的極大限制。導(dǎo)致文檔切分后的chunksize，極大影響RAG的性能。本文介紹的ModernBERT，在BERT的基礎(chǔ)上進(jìn)行了重大改進(jìn)，以提高下游任務(wù)的性能和效率，尤其是在更長(zhǎng)序列長(zhǎng)度上的表現(xiàn)。ModernBERT在2萬億個(gè)token上進(jìn)行訓(xùn)練，原生支持8192序列長(zhǎng)度，展現(xiàn)了在多樣化分類任務(wù)和單向、多向檢索任務(wù)上的卓越性能。ModernBERT解決的問題問題1：傳統(tǒng)Bert序列長(zhǎng)度512的限制ModernB...

一、摘要SigLIP【全稱：SigmoidLossforLanguageImagePreTraining】，SigLIP是在batch內(nèi)，利用sigmod對(duì)文圖對(duì)做二分類；CLIP是在batch內(nèi)，利用softmax對(duì)文圖對(duì)做多分類。SigLIP不需要對(duì)兩兩相似進(jìn)行全局歸一化，這樣的做法允許擴(kuò)大batch的大小，同時(shí)在較小的batch下也能表現(xiàn)的好。如下圖所示：SigLIP利用sigmod對(duì)文圖對(duì)做二分類，是在指導(dǎo)模型朝著文字Tokens和圖像Tokens的兩個(gè)序列的對(duì)角線上值越來越大，非對(duì)角線上的值越來越小...