先說結(jié)論，實(shí)際體驗(yàn)一般，如果是下游rag文檔的元素不是特別復(fù)雜可以用一用這個(gè)端到端的多模態(tài)模型，如果版式元素豐富，還是老實(shí)進(jìn)行文檔解析吧。但通過pdfparser工具結(jié)合prompt結(jié)合的方式值得一看。

• 在線demo：https://olmocr.allenai.org/
• 開源權(quán)重地址：https://huggingface.co/allenai/olmOCR-7B-0225-preview
• paper：Efficient PDF Text Extraction with Vision Language Models，https://arxiv.org/pdf/2502.18443v1
• code：https://github.com/allenai/olmocr

筆者測試case：

原圖

OLMOCR解析后，紅色框表格缺失部分

核心問題與背景

PDF文檔蘊(yùn)含海量高質(zhì)量文本數(shù)據(jù)，但因其復(fù)雜的視覺布局（多欄、表格、公式等）和元數(shù)據(jù)缺失，傳統(tǒng)OCR工具難以準(zhǔn)確提取內(nèi)容。現(xiàn)有解決方案存在以下痛點(diǎn)：

• pipline系統(tǒng)（如Grobid）依賴多組件串聯(lián)，對復(fù)雜布局泛化性差； 筆者前期分享了很多相關(guān)技術(shù)鏈路《??文檔智能系列欄目???》、《??【文檔智能 & RAG】RAG增強(qiáng)之路：增強(qiáng)PDF解析并結(jié)構(gòu)化技術(shù)路線方案及思路??》

pipline系統(tǒng)

• 端到端模型（如Nougat）僅依賴圖像輸入，忽略PDF原生元數(shù)據(jù)，成本高昂（如GPT-4o處理百萬頁需$6,200）；
• 數(shù)據(jù)稀缺：缺乏大規(guī)模、多樣化的PDF訓(xùn)練數(shù)據(jù)。

OLMOCR創(chuàng)新點(diǎn)

1. DOCUMENT-ANCHORING技術(shù)

Prompt如：原圖：

通過pdfpaser得到元數(shù)據(jù)拼接提示詞得到：

• 兼容性：對無元數(shù)據(jù)的掃描文檔仍保持高精度，僅依賴圖像輸入。
• 元數(shù)據(jù)提取：通過pypdf庫解析PDF結(jié)構(gòu)，提取關(guān)鍵元素的位置信息，動(dòng)態(tài)注入模型提示（Prompt）。
• 多模態(tài)輸入融合（通過提示詞）：同時(shí)利用PDF原生元數(shù)據(jù)（文本塊坐標(biāo)、圖像位置）和頁面圖像，顯著減少模型幻覺。

 2.蒸餾模型

• 模型架構(gòu)：基于Qwen2-VL-7B-Instruct微調(diào)，支持Markdown結(jié)構(gòu)化輸出（公式LaTeX、表格Markdown）。
• 訓(xùn)練數(shù)據(jù)：構(gòu)建olmOCR-mix-0225數(shù)據(jù)集（26萬頁P(yáng)DF），涵蓋學(xué)術(shù)論文、法律文件、手冊等多樣化來源（表1-2）。

實(shí)驗(yàn)結(jié)果

與教師模型GPT-4o的文本對齊度達(dá)87.5%，優(yōu)于GPT-4o mini（83.3%）。溫度（τ=0.8）下對齊度略降（85.9%），但減少生成重復(fù)。

在2,017份PDF的對比測試中，OLMOCR以ELO 1800+顯著優(yōu)于Marker、MinerU等工具（圖6）。使用OLMOCR數(shù)據(jù)微調(diào)OLMo-2模型，在MMLU、ARC等基準(zhǔn)上平均提升1.3%。

公眾號(hào)大模型自然語言處理  作者：余俊暉

原文鏈接：??https://mp.weixin.qq.com/s/9JfKg1HTVKO6s2wQi-qW7Q??