【多模態(tài)&LLM】英偉達(dá)NVLM多模態(tài)大模型細(xì)節(jié)和數(shù)據(jù)集
NVLM-1.0方法
圖片
NVLM-1.0包括三種不同的架構(gòu)：
- NVLM-D，一種解碼器架構(gòu)；
- NVLM-X，一種基于交叉注意力（X-attention）的架構(gòu)；
- NVLM-H，一種混合架構(gòu)。
共享視覺路徑
所有NVLM模型共享一個視覺路徑。使用InternViT-6B-448px-V1-5作為默認(rèn)的視覺編碼器，并在整個訓(xùn)練階段保持其凍結(jié)狀態(tài)。該視覺編碼器以固定的448x448像素分辨率處理圖像，生成1024個輸出標(biāo)記。采用動態(tài)高分辨率（DHR）方法來處理不同分辨率的圖像輸入。具體的如下圖，圖像被分割成最多6個瓦片（tile），每個瓦片對應(yīng)448x448像素。然后，每個瓦片被送入InternViT-6B進(jìn)行處理，生成1024個標(biāo)記。這些標(biāo)記通過下采樣操作減少到256個標(biāo)記，這么做可以降低處理開銷。。
圖片
圖片
上述兩張圖都是動態(tài)DHR的處理過程，圍繞圖像的預(yù)處理，包括歸一化、縮放、裁剪、根據(jù)寬高比動態(tài)處理等操作，構(gòu)建了一套完整的流程，代碼邏輯如下：
import torch
from PIL import Image
import torchvision.transforms as T
from torchvision.transforms.functional import InterpolationMode
IMAGENET_MEAN = (0.485, 0.456, 0.406)
IMAGENET_STD = (0.229, 0.224, 0.225)
def build_transform(input_size):
MEAN, STD = IMAGENET_MEAN, IMAGENET_STD
transform = T.Compose([
T.Lambda(lambda img: img.convert('RGB') if img.mode != 'RGB'else img),
T.Resize((input_size, input_size), interpolatinotallow=InterpolationMode.BICUBIC),
T.ToTensor(),
T.Normalize(mean=MEAN, std=STD)
])
return transform
def find_closest_aspect_ratio(aspect_ratio, target_ratios, width, height, image_size):
best_ratio_diff = float('inf')
best_ratio = (1, 1)
area = width * height
for ratio in target_ratios:
target_aspect_ratio = ratio[0] / ratio[1]
ratio_diff = abs(aspect_ratio - target_aspect_ratio)
if ratio_diff < best_ratio_diff:
best_ratio_diff = ratio_diff
best_ratio = ratio
elif ratio_diff == best_ratio_diff:
if area > 0.5 * image_size * image_size * ratio[0] * ratio[1]:
best_ratio = ratio
return best_ratio
def dynamic_preprocess(image, min_num=1, max_num=6, image_size=448, use_thumbnail=True):
orig_width, orig_height = image.size
aspect_ratio = orig_width / orig_height
target_ratios = set(
(i, j) for n in range(min_num, max_num + 1) for i in range(1, n + 1) for j in range(1, n + 1) if
i * j <= max_num and i * j >= min_num)
target_ratios = sorted(target_ratios, key=lambda x: x[0] * x[1])
target_aspect_ratio = find_closest_aspect_ratio(
aspect_ratio, target_ratios, orig_width, orig_height, image_size)
target_width = image_size * target_aspect_ratio[0]
target_height = image_size * target_aspect_ratio[1]
blocks = target_aspect_ratio[0] * target_aspect_ratio[1]
resized_img = image.resize((target_width, target_height))
processed_images = []
for i in range(blocks):
box = (
(i % (target_width // image_size)) * image_size,
(i // (target_width // image_size)) * image_size,
((i % (target_width // image_size)) + 1) * image_size,
((i // (target_width // image_size)) + 1) * image_size
)
split_img = resized_img.crop(box)
processed_images.append(split_img)
assert len(processed_images) == blocks
if use_thumbnail and len(processed_images) != 1:
thumbnail_img = image.resize((image_size, image_size))
processed_images.append(thumbnail_img)
return processed_images
def load_image(image_file, input_size=448, max_num=6):
image = Image.open(image_file).convert('RGB')
transform = build_transform(input_size=input_size)
images = dynamic_preprocess(image, image_size=input_size, use_thumbnail=True, max_num=max_num)
pixel_values = [transform(image) for image in images]
pixel_values = torch.stack(pixel_values)
return pixel_values文中引入了三種tile標(biāo)簽：
- 無標(biāo)簽：簡單連接，沒有tile標(biāo)簽，這是InternVL-1.5的設(shè)計。
- 一維扁平化tile tag：<tile_1>、<tile_2>、...、<tile_6>、<tile_global>。
- 二維網(wǎng)格tag：<tile_x0_y0>、<tile_x1_y0>、...、<tile_xW_yH>、<tile_global>，其中<tile_xi_yj>的{i:j}可以是{1:1, 1:2, 1:3, 1:4, 1:5, 1:6, 2:1, 2:2, 2:3, 3:1, 3:2, 4:1, 5:1, 6:1}中的任何一個。
- 二維邊界框標(biāo)簽： (x0, y0), (x1, y1) 、...、 (xW, yH), (xW+1, yH+1) ，其中(xi, yj)和(xi+1, yj+1)分別是整個高分辨率圖像中該特定tile的（左、上）和（右、下）坐標(biāo)。
實驗可以看到，其中DHR + 1-D tag取得了最佳的性能。
圖片
圖片
NVLM-D: 解碼器架構(gòu)
NVLM-D模型類似于之前的解碼器架構(gòu)多模態(tài)LLMs（如：）。通過一個兩層MLP將預(yù)訓(xùn)練的視覺編碼器連接到LLM。訓(xùn)練NVLM-D涉及兩個階段：預(yù)訓(xùn)練和SFT。在預(yù)訓(xùn)練階段，MLP需要先進(jìn)行訓(xùn)練，同時保持視覺編碼器和LLM主干凍結(jié)。在SFT階段，MLP和LLM都被訓(xùn)練以學(xué)習(xí)新的視覺-語言任務(wù)，而視覺編碼器保持凍結(jié)狀態(tài)。為了防止LLM在多模態(tài)SFT訓(xùn)練期間退化文本性能，引入了一個高質(zhì)量的文本SFT數(shù)據(jù)集。
NVLM-X: 基于X-attention的模型
NVLM-X使用門控交叉注意力來處理圖像token。與Flamingo模型不同，NVLM-X不使用感知重采樣器，而是直接通過交叉注意力層處理圖像標(biāo)記。在SFT階段，解凍LLM主干，并混合高質(zhì)量文本SFT數(shù)據(jù)集以保持強大的文本性能。
NVLM-H: 混合模型
NVLM-H結(jié)合了解碼器架構(gòu)和基于X-attention的架構(gòu)的優(yōu)點。將圖像token分為兩部分：縮略圖token和常規(guī)瓦片token?？s略圖標(biāo)記通過自注意力層處理，而常規(guī)瓦片標(biāo)記通過交叉注意力層處理。這種設(shè)計提高了高分辨率圖像的處理能力，同時顯著提高了計算效率。
模型配置和訓(xùn)練方法
所有NVLM模型的訓(xùn)練過程包括兩個階段：預(yù)訓(xùn)練和監(jiān)督微調(diào)（SFT）。在預(yù)訓(xùn)練階段，凍結(jié)LLM主干和視覺編碼器，只訓(xùn)練模態(tài)對齊模塊。在SFT階段，保持視覺編碼器凍結(jié)，同時訓(xùn)練LLM和模態(tài)對齊模塊。
LLM和視覺模型選擇
- LLM：對于NVLM-D、NVLM-X和NVLM-H 72B模型，使用Qwen2-72B-Instruct作為LLM。為了計算效率，還使用了較小的Nous-Hermes-2-Yi-34B進(jìn)行更快的消融研究和實驗。
- 視覺編碼器：所有NVLM模型都使用InternViT-6B-448px-V1-5作為視覺編碼器。
模態(tài)對齊模塊
- NVLM-D: 使用兩層MLP將視覺編碼器和背景語言模型連接起來。隱藏維度為12800→20480→7168（34B模型）和12800→29568→8192（72B模型）。
- NVLM-X: 圖像特征首先通過一層MLP投影到背景語言模型的隱藏維度，然后插入門控X-attention層。具體配置為12800→7168（34B模型）和12800→8192（72B模型）。
- NVLM-H: 使用兩層MLP和X-attention層作為模態(tài)對齊模塊?？s略圖圖像標(biāo)記直接輸入到背景語言模型解碼器中，而常規(guī)圖像塊則通過X-attention層進(jìn)行處理。
訓(xùn)練超參數(shù)
- 預(yù)訓(xùn)練階段
圖片
- SFT階段
圖片
訓(xùn)練數(shù)據(jù)
- 預(yù)訓(xùn)練數(shù)據(jù)集
圖片
- SFT數(shù)據(jù)集
圖片
- 文本SFT數(shù)據(jù)集
包括ShareGPT、SlimOrca、EvolInstruct、GPTeacher、AlpacaGPT4、UltraInteract、OrcaMathWordProblems、MathInstruct、MetaMath、GlaiveCodeAssistant、Magicoder、WizardCoder、GlaiveCodeAssistant等。并使用OpenAI模型GPT-4o和GPT-4o-mini進(jìn)一步優(yōu)化響應(yīng)質(zhì)量，并進(jìn)行數(shù)據(jù)去污染，確保不包含基準(zhǔn)測試數(shù)據(jù)集中的提示。 - SFT數(shù)據(jù)構(gòu)建格式
圖片
- 預(yù)訓(xùn)練中使用的各種任務(wù)的訓(xùn)練格式示例。綠色< image >tag表示插入視覺特征的位置。藍(lán)色文本代表與損失相關(guān)的真實值。
圖片
- SFT中使用的ChatML模板示例。綠色< image >標(biāo)簽指示插入視覺特征的位置。藍(lán)色文本代表與損失相關(guān)的真實值。
實驗結(jié)果
重點關(guān)注多模態(tài)推理、視覺上下文中的數(shù)學(xué)推理、自然圖像理解、場景-文本閱讀、圖表理解、文檔理解、現(xiàn)實世界感知和OCR能力。
圖片
圖片
圖片
參考文獻(xiàn)
- NVLM: Open Frontier-Class Multimodal LLMs，https://arxiv.org/pdf/2409.11402
