微軟推出的Phi-3.5-vision，把人工智能帶到了成長(zhǎng)的新階段。這款A(yù)I模型擅長(zhǎng)處理文本和圖像，為圖像識(shí)別和自動(dòng)文字識(shí)別等任務(wù)帶來(lái)創(chuàng)新的解決思路。本文介紹Phi-3.5-vision的技術(shù)亮點(diǎn)及其在實(shí)際場(chǎng)景中的應(yīng)用。

一、Phi-3.5-vision核心特性和功能

Phi-3.5-vision處理文本和圖像信息的能力全面且高效，能夠勝任多樣化的任務(wù)，成為眾多應(yīng)用場(chǎng)景中的得力助手，是行業(yè)中的佼佼者。

核心特性

• 支持長(zhǎng)達(dá)128,000個(gè)token的上下文理解，讓模型在處理長(zhǎng)文本時(shí)游刃有余。
• 即便在資源受限的環(huán)境下，也能保持出色的性能。
• 能夠同時(shí)處理文本和圖像，實(shí)現(xiàn)多模態(tài)交互。

主要功能

1. 視覺(jué)處理能力：

通用圖像識(shí)別與分析

多圖像比較和關(guān)系檢測(cè)

視頻片段摘要（高光）和關(guān)鍵幀提取

2. 文本與數(shù)據(jù)提?。?/li>

• 高級(jí)光學(xué)字符識(shí)別（OCR）
• 圖表和表格解釋及數(shù)據(jù)提取
• 文檔布局分析和結(jié)構(gòu)識(shí)別

3. 多模態(tài)集成：

• 文本到圖像的生成和操作
• 圖像字幕和描述生成
• 視覺(jué)問(wèn)答和推理

二、優(yōu)勢(shì)

Phi-3.5-vision相較于前代模型實(shí)現(xiàn)了重大進(jìn)步和飛躍，它不僅提升了性能，拓寬了應(yīng)用范圍，同時(shí)還保持了相對(duì)較小的模型尺寸。

創(chuàng)新之處包括：

• 增強(qiáng)的多模態(tài)處理
• 多幀處理能力的增強(qiáng)。特別適用于動(dòng)畫(huà)、視頻和多攝像頭場(chǎng)景，能夠同時(shí)高效處理多個(gè)數(shù)據(jù)或圖像幀。
• 先進(jìn)的視頻摘要技術(shù)

性能和效率：

• 在多項(xiàng)基準(zhǔn)測(cè)試中，Phi-3.5-vision展現(xiàn)出與大型模型相媲美的性能。
• 在保持較小模型體積的同時(shí)，實(shí)現(xiàn)了能力與資源消耗之間的更佳平衡。

倫理與安全性：

• 改進(jìn)的安全措施
• 強(qiáng)化了對(duì)負(fù)責(zé)任AI開(kāi)發(fā)的承諾，注重技術(shù)的倫理應(yīng)用。

多功能性與適應(yīng)性：

• 在各個(gè)領(lǐng)域有更廣泛的應(yīng)用范圍
• 對(duì)不同任務(wù)和數(shù)據(jù)類型的適應(yīng)性改進(jìn)

三、技術(shù)規(guī)格

Phi-3.5-vision的設(shè)計(jì)理念是追求高性能與高效率的完美結(jié)合，使其能夠在較低的計(jì)算成本下解決復(fù)雜問(wèn)題。

架構(gòu)細(xì)節(jié)：

• 包含42億參數(shù)，確保了模型的復(fù)雜性和處理能力。
• 四個(gè)主要組件：協(xié)同工作，發(fā)揮最大效能

圖像編碼器

連接器

投影器

Phi-3 Mini語(yǔ)言模型

訓(xùn)練規(guī)格：

• 數(shù)據(jù)集：5000億token（視覺(jué)和文本）
• 訓(xùn)練時(shí)長(zhǎng)：6天
• 硬件：256個(gè)A100-80G GPU

訓(xùn)練技術(shù)：

• 監(jiān)督式微調(diào)技術(shù)
• 從人類反饋中學(xué)習(xí)的強(qiáng)化學(xué)習(xí)機(jī)制

四、環(huán)境設(shè)置

硬件要求

Phi-3.5-vision經(jīng)過(guò)優(yōu)化，效率更高，但要發(fā)揮其最大效能，需要滿足一定的硬件條件。該模型已在NVIDIA A100、A6000和H100 GPU上進(jìn)行了充分測(cè)試，表現(xiàn)出色。請(qǐng)確保系統(tǒng)具備足夠的視頻內(nèi)存（VRAM），以支持這一擁有42億參數(shù)的模型順暢運(yùn)行。

依賴項(xiàng)安裝

要在本地部署Phi-3.5-vision，需要設(shè)置符合特定版本要求的Python環(huán)境。按照以下步驟操作：

1. 使用喜歡的方法（venv、conda等）創(chuàng)建一個(gè)新的虛擬環(huán)境。
2. 創(chuàng)建一個(gè)名為requirements.txt的文件，內(nèi)容如下：

flash_attn==2.5.8
numpy==1.24.4
Pillow==10.3.0
Requests==2.31.0
torch==2.3.0
torchvision==0.18.0
transformers==4.43.0
accelerate==0.30.0

3. 使用pip安裝所需的包：

pip install -r requirements.txt

注意：確保torch安裝了CUDA支持以進(jìn)行GPU加速。如需特定于您CUDA版本的安裝指令，建議訪問(wèn)PyTorch官方網(wǎng)站獲取。

本文轉(zhuǎn)載自??AI科技論談??，作者： AI科技論談 ????