模型架構KimiVL模型整體架構框架與前期內容介紹的llava、reyes等多模態(tài)大模型的架構大差不差，組成形式：視覺編碼器（MoonViT）+MLP層+MoE的LLM。模型架構1.MoonViT：視覺編碼器MoonViT的設計目標是能夠以圖像的原始分辨率處理圖像，從而消除復雜的子圖像分割和拼接操作。這種設計使得MoonViT能夠更靈活地處理不同分辨率的圖像，而不需要進行額外的預處理步驟。實現方式：圖像分塊和拼接：MoonViT采用NaViT中的打包方法，將圖像...

十大PDF解析工具總結PDF解析對于包括文檔分類、信息提取和檢索在內的多種自然語言處理任務至關重要，尤其是RAG的背景下。盡管存在各種PDF解析工具，但它們在不同文檔類型中的有效性仍缺乏充分研究，尤其是超出學術文檔范疇。通過使用DocLayNet數據集，比較10款流行的PDF解析工具在6種文檔類別中的表現，以填補這一空白。這些工具包括PyPDF、pdfminer.six、PyMuPDF、pdfplumber、pypdflum2、Unstructured、Tabula、Camelot以及基...

來自fans投稿，提出動態(tài)參數化RAG，即插即用無縫和RAG結合，減少RAG幻覺的發(fā)生，來看看具體思路。檢索增強生成（RAG）通過從外部源檢索相關文檔并將其合并到上下文中來增強大語言模型（LLMs）。雖然它通過提供事實文本提高了可靠性，但隨著上下文長度的增長，顯著增加了推理成本，并引入了具有挑戰(zhàn)性的RAG幻覺問題，這主要是由于LLM中缺乏相應的參數知識造成的。參數化RAG（PRAG）通過離線訓練將文檔嵌入大模型參數有效地降低推...

筆者在前期文章中總結了RAG的分塊《??RAG常見13種分塊策略大總結（一覽表）??》，本文介紹一個語義分段的工作，該工作解決的問題是文本語義分割，即將文檔分割成多個具有連續(xù)語義的段落。傳統方法通常依賴于預處理文檔以分段來解決輸入長度限制問題，但這會導致段間關鍵語義信息的丟失。RAG系統中的文本分塊方法主要分為基于規(guī)則和基于LLM的方法。插入一個思路，其實，語義分段的方式筆者在很早實踐過一個思路，不管是RAG分...

公式識別是文檔智能解析中的重要一環(huán)，本文筆者將介紹筆者自己的工作，供參考。問題陳述與動機核心問題：當前的數學表達式識別（MER）模型難以處理復雜公式中的層次結構和細粒度細節(jié)。數學公式是邏輯的建筑藍圖——它們在求和符號中嵌套分數，在行文中堆疊矩陣，并分支為條件分段函數。然而，盡管數學公式具有復雜的結構，當前的數學表達式識別（MER）模型甚至難以可靠解析中等復雜度的表達式。試想：當公式的視覺密度增加時，...

Qwen2.5BVL32B開源之際，記錄一下QwenVL系列多模態(tài)大模型技術演進模型架構、訓練方法、數據細節(jié)，僅供參考。系列模型的應用場景：QwenVL：基礎圖像理解和對話。Qwen2VL：圖像+短視頻理解，代理任務。Qwen2.5VL：長視頻、復雜文檔解析、多語言支持，適用于更廣泛的現實場景。模型架構演進一覽（其實差不多，模型側有一些細節(jié)改動，系列更多還是數據上的增量訓練）：模型大型語言模型(LLM)視覺編碼器(ViT)視覺語言連接機制位置編...

本文詳細介紹DeepSeek模型中的一些創(chuàng)新技術，包括對Transformer架構的改進（如MLA、MOE）、MultiTokenPrediction提高訓練效率、算法、框架和硬件的協同設計、GroupRelativePolicyOptimization(GRPO)強化學習算法，以及結合監(jiān)督微調和強化學習的迭代訓練方法。這些技術不僅提高了模型的性能，還顯著降低了訓練成本。記錄供參考。1.MLA多頭潛在注意力Transformer架構的注意力機制是實現高效自然語言處理的關鍵組件。MultiHeadLate...

剛開始琢磨使用DeepSeekR1風格訓練多模態(tài)R1模型，就看到這個工作，本文一起看看，供參考。先提出問題，僅靠RL是否足以激勵MLLM的推理能力？結論：不能，因為如果RL能有效激勵推理能力，VisionR1Zero應該表現出生成復雜CoT的能力，并在基準測試中提升準確率。如下圖D和E所示：方法：從未經專門推理優(yōu)化的原始MLLM（例如Qwen2.5VL7BInstruct）開始，直接應用RL訓練。使用與VisionR1相同的獎勵函數，即硬格式結果獎勵函數（HFRRF）...

文章提出：傳統的MLLMs中，文本嵌入是從LLM的嵌入查找表中索引得到的，而視覺嵌入是由視覺編碼器（如：ViT）直接生成的連續(xù)向量。這種差異導致在視覺和文本信息融合時存在挑戰(zhàn)。與傳統的MLLM不同，Ovis通過在視覺編碼器的過程中引入一個額外的視覺嵌入查找表來解決這個問題。這種方法使得視覺嵌入的生成過程與文本嵌入類似。效果核心創(chuàng)新從下面模型結構代碼可以看到，Ovis和傳統的LLava架構其實差不多，最大的區(qū)別就是LLava使用...

PathRAG也是一種新型GraphbasedRAG方法，通過檢索索引圖中的關鍵關系路徑，減少噪聲并優(yōu)化LLM提示。其核心創(chuàng)新在于基于流的剪枝算法和路徑為基礎的提示策略，特別適用于捕捉復雜數據集中的關系。（其實可以看做相比GraphRAG假如剪枝算法和路徑提示策略，減少噪聲并提升性能）三種GraphbasedRAG對比總結（PathRAG、GraphRAG、LightRAG）：?PathRAG：通過從索引圖中檢索關鍵的關系路徑來減少冗余信息。PathRAG使用基于流的剪枝算...

分塊策略在RAG中至關重要，目的是提高效率、相關性和上下文保持。分塊能減少計算開銷，增加檢索相關信息的可能性，同時保持信息完整性。但也存在風險，如上下文丟失、冗余和不一致性。選擇策略需考慮文檔類型（結構化vs非結構化）、查詢復雜性、資源可用性和期望結果（速度vs準確性vs上下文）。以下是13種獨特分塊策略的詳細描述，按策略名稱、描述、優(yōu)點、缺點和實施建議。僅供參考。策略名稱描述優(yōu)點缺點實施建議固定長度分塊...

Phi4Multimodal是一種參數高效的多模態(tài)模型，通過LoRA適配器和模式特定路由器實現文本、視覺和語音音頻的無縫集成。訓練過程包括多階段優(yōu)化，確保在不同模式和任務上的性能，數據來源多樣，覆蓋高質量合成數據。它的設計體現了小型語言模型在多模態(tài)任務上的潛力。模型架構模型架構Phi4Multimodal的基礎是Phi4Mini語言模型，這是一個3.8億參數的模型，設計為高效處理文本任務。架構包括：Transformer層和維度：32層Transformer，...

先說結論，實際體驗一般，如果是下游rag文檔的元素不是特別復雜可以用一用這個端到端的多模態(tài)模型，如果版式元素豐富，還是老實進行文檔解析吧。但通過pdfparser工具結合prompt結合的方式值得一看。在線demo：https:olmocr.allenai.org開源權重地址：https:huggingface.coallenaiolmOCR7B0225previewpaper：EfficientPDFTextExtractionwithVisionLanguageModels，https:arxiv.orgpdf2502.18443v1code：https:github.comallenaio...

引言本文將探討KVCache如何通過在內存使用和計算時間之間進行巧妙的權衡，使像ChatGPT和DeepSeek這樣的語言模型在生成文本時更快?？偨Y11篇最近的研究論文，歸納三大類：token選擇、后處理壓縮技術和架構重新設計。包括DeepSeek的多頭潛在注意力（MLA），這些論文在這一基本思想的基礎上，進一步提高了大型語言模型（LLM）推理的時間效率。一、思考為什么文本生成如此緩慢讓我們從一個簡單的類比開始。想象你在寫一個故事，每寫...

本文轉載自PIKERAG框架的設計目標是提供一個靈活且可擴展的RAG系統，應對工業(yè)應用中復雜多樣的任務需求?？蚣艿暮诵氖峭ㄟ^有效的知識提取、理解和組織，以及構建連貫的推理邏輯，解決了RAG系統在工業(yè)應用中的局限性。下面來看下微軟開源的PIKERAG框架及其實現過程，供參考。PIKERAG框架PIKERAG框架主要由幾個基本模塊組成，包括文檔解析、知識抽取、知識存儲、知識檢索、知識組織、以知識為中心的推理以及任務分解與協調。PIKER...

??HtmlRAG??方法通過使用HTML而不是純文本來增強RAG系統中的知識表示能力。通過HTML清洗和兩步塊樹修剪方法，在保持關鍵信息的同時縮短了HTML文檔的長度。這種方法優(yōu)于現有基于純文本的RAG的性能。方法其實主要看下圍繞html提純思路，將提純后的Html內容送入LLM進行增強問答。1.HTML清洗由于原始HTML文檔過長（每個超過80K），并且不需要考慮用戶查詢的語義特征，因此在這個步驟中使用基于規(guī)則的方法進行預處理。這個清洗過...

企業(yè)知識庫中的模態(tài)數據不止文本一個模態(tài)，傳統的RAG無法解決多模態(tài)場景下的問答，問題提出：如何檢索到與用戶問題相關且有用的多模態(tài)數據？以及如何將這些數據整合成一個連貫的多模態(tài)答案？來看一個簡單有效的多模態(tài)RAG框架MuRAR。MuRAR框架在MuRAR框架的設計中，目標是生成一個高質量的多模態(tài)答案（multimodalanswer），該答案通過整合與用戶問題相關的多模態(tài)數據來提供連貫且信息豐富的內容。用戶界面設計：用戶輸入問題；顯...

MLA是MHA的變體，因此先來看看MHA。MHA（多頭注意力）MHA通過將輸入向量分割成多個并行的注意力“頭”，每個頭獨立地計算注意力權重并產生輸出，然后將這些輸出通過拼接和線性變換進行合并以生成最終的注意力表示。Transformer編碼器塊內的縮放點積注意力機制和多頭注意力機制MHA計算過程MHA能夠理解輸入不同部分之間的關系。然而，這種復雜性是有代價的——對內存帶寬的需求很大，尤其是在解碼器推理期間。主要問題的關鍵在于...

筆者在前期一個系列分享了各種文檔智能相關的技術方法，可以參考《??文檔智能系列欄目??》，涵蓋各種常見方法。下面直接看看這個端到端的文檔智能結構化方法，供參考。方法一、架構紅色三部分組成的模型結構ECLAIR采用了一個較大的視覺編碼器（657M參數ViTH16）和一個較輕量級的解碼器（279M參數mBART）組成端到端的模型，主要為了在推理時提高效率。ECLAIR包括以下幾個組件：視覺編碼器（VisionEncoder）ECLAIR的視覺編碼...

最近各種營銷號鼓吹基于qwen的模型幾十塊錢復現deepseekR1zero，坑壞了算法工程師，筆者實驗驗證下這個夸張說法，因為實驗僅僅是快速的實現，無過多的優(yōu)化，下面實驗數據僅供參考，歡迎指正。實驗過程DeepSeekR1Zero過程DeepSeekR1Zero是一個純RL（無SFT）來探索模型推理能力的過程（基于GRPO的RL優(yōu)化過程）。RewardModel是基于規(guī)則的獎勵過程（RuleBaseRM），R1Zero階段只關注數學、程序類推理問題，都是能簡單通過規(guī)則判別答...