實驗表明，當文本標記數(shù)量在視覺標記數(shù)量的 10 倍以內(nèi)時，該模型的解碼 (OCR) 精度可達 97%。即使在 20 倍壓縮比下，OCR 精度仍能保持在 60% 左右。

DeepSeek-OCR 的主要貢獻有三點：

1. 對視覺-文本標記壓縮比進行了全面的定量分析。在 9-10 倍文本壓縮率下實現(xiàn)了 96% 以上的 OCR 解碼精度，在 10-12 倍壓縮率下實現(xiàn)了 ～90% 的解碼精度，在 20 倍壓縮率下實現(xiàn)了 ～60% 的解碼精度。

2. 引入了新架構(gòu) DeepEncoder。即使在高分辨率輸入下也能保持較低的激活內(nèi)存和最少的視覺標記。

3. 基于 DeepEncoder 和 DeepSeek3B-MoE 開發(fā)了 DeepSeek-OCR。在 OmniDocBench 端到端模型中實現(xiàn)了最佳性能，同時使用了最少的視覺 token。

方法論

DeepSeek-OCR 采用統(tǒng)一的端到端 VLM 架構(gòu)，由編碼器和解碼器組成。編碼器（即 DeepEncoder）負責提取圖像特征、標記化以及壓縮視覺表征。

DeepEncoder 主要由兩個組件組成：一個由窗口注意力機制主導的視覺感知特征提取組件，以及一個具有密集全局注意力機制的視覺知識特征提取組件。

為了測試不同壓縮率（需要不同數(shù)量的視覺標記）下的模型性能并增強 DeepSeek-OCR 的實用性，研究團隊為其配置了多種分辨率模式。

生分辨率支持四種子模式：Tiny、Small、Base、Large，對應的分辨率和 token 數(shù)量分別為 512×512（64）、640×640（100）、1024×1024（256）和 1280×1280（400）。

解碼器采用了 DeepSeekMoE，既擁有 3B 模型的表達能力，又能享受 500M 小型模型的推理效率。

研究人員還為 DeepSeek-OCR 構(gòu)建了復雜多樣的訓練數(shù)據(jù)，包括場景圖像 OCR、文檔 OCR 等傳統(tǒng) OCR 任務、針對復雜人工圖像的解析任務。

訓練流程非常簡單，主要包含兩個階段：

1. 獨立訓練 DeepEncoder；

2. 訓練 DeepSeek-OCR。

結(jié)果評估

結(jié)果顯示，**在 10 倍壓縮比內(nèi)，模型解碼精度可達約 97%**，這是一個非常有前景的結(jié)果。

當壓縮比超過 10 倍時，性能開始下降。一是因為長文檔的排版變得更加復雜，二是長文本在 512×512 或 640×640 分辨率下會變得模糊。

為了量化 OCR 性能，研究團隊在 OmniDocBench 上測試了 DeepSeekOCR。結(jié)果顯示，DeepSeek-OCR 僅需要 100 個視覺標記（640×640 分辨率），就超越了使用 256 個標記的 GOT-OCR2.0；使用 400 個標記（285 個有效標記，1280×1280 分辨率），它在該基準測試中達到了與最先進技術(shù)相當?shù)男阅?/strong>。