Grok-1.5V是下xAI第一代多模態(tài)大模型，除了其強(qiáng)大的文本能力外，Grok現(xiàn)在還可以處理各種各樣的視覺(jué)信息，包括文檔、圖表、示意圖、截圖和照片。Grok-1.5V即將提供給早期測(cè)試人員和現(xiàn)有的Grok用戶(hù)使用。

能力

Grok-1.5V在多個(gè)領(lǐng)域與現(xiàn)有多模態(tài)大模型具有競(jìng)爭(zhēng)力，從多學(xué)科推理到理解文檔、科學(xué)圖表、截圖和照片。Grok在新RealWorldQA基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異，該測(cè)試衡量了對(duì)現(xiàn)實(shí)世界空間理解的能力。對(duì)于下面的所有數(shù)據(jù)集，在零提示的情況下評(píng)估Grok，不使用思維鏈的提示。

示例1：看圖表寫(xiě)代碼

示例2：計(jì)算卡路里

示例3：從一幅圖畫(huà)到一個(gè)睡前故事

示例4：解釋一個(gè)網(wǎng)絡(luò)迷因

示例5：將表格轉(zhuǎn)換為 CSV 格式

示例6：幫助處理露臺(tái)上腐爛的木材

示例7：解決編程問(wèn)題

實(shí)現(xiàn)真實(shí)世界理解

為了開(kāi)發(fā)出有用的真實(shí)世界人工智能助手，提升模型對(duì)物理世界的理解至關(guān)重要。為了實(shí)現(xiàn)這一目標(biāo)，研究人員引入了一個(gè)新的基準(zhǔn)測(cè)試，RealWorldQA。該基準(zhǔn)旨在評(píng)估多模式模型的基本真實(shí)世界空間理解能力。盡管當(dāng)前基準(zhǔn)測(cè)試中的許多示例對(duì)人類(lèi)來(lái)說(shuō)相對(duì)容易，但它們常常對(duì)前沿模型構(gòu)成挑戰(zhàn)。

RealWorldQA的初始發(fā)布包含超過(guò)700張圖像，每張圖像都附帶一個(gè)問(wèn)題和易于驗(yàn)證的答案。該數(shù)據(jù)集包含了從車(chē)輛中獲取的匿名圖像，以及其他真實(shí)世界的圖像。后續(xù)xAI將隨著多模態(tài)模型的改進(jìn)而擴(kuò)展它。RealWorldQA在CC BY-ND 4.0下發(fā)布。

譯自(有刪改)：https://x.ai/blog/grok-1.5v

什么是Grok？

Grok是由xAI開(kāi)發(fā)的生成式人工智能聊天機(jī)器人，基于大語(yǔ)言模型（LLM）。它是由埃隆·馬斯克發(fā)起的一項(xiàng)倡議，作為對(duì)OpenAI的ChatGPT的直接回應(yīng)而開(kāi)發(fā)的，而馬斯克是ChatGPT的聯(lián)合創(chuàng)始人之一。該聊天機(jī)器人被宣傳為“具有幽默感”，并直接接入Twitter（X）。

時(shí)間線(xiàn)

• 2024年3月11日，馬斯克在X上發(fā)布消息稱(chēng)語(yǔ)言模型將在一周內(nèi)開(kāi)源，六天后，即3月17日，Grok開(kāi)始開(kāi)源。
• 2024年3月17日，Grok-1以Apache-2.0許可證的形式開(kāi)源。
• 2024年3月26日，馬斯克宣布Grok將對(duì)所有高級(jí)訂閱用戶(hù)開(kāi)放，而不僅僅是高端層級(jí)的Premium+。
• 3月29日，Grok-1.5發(fā)布，具有“改進(jìn)的推理能力”和128,000個(gè)token的上下文長(zhǎng)度。

本文轉(zhuǎn)載自公眾號(hào)AIGC最前線(xiàn) 

原文鏈接：??https://mp.weixin.qq.com/s/-EAuLUPqWVjbyaKgizL7vA??