設(shè)想一下，如果我們能夠?qū)⑺?LaTeX 時(shí)代之前的文本資料輸入到先進(jìn)的大型語(yǔ)言模型（LLM）中，并從中獲得格式規(guī)范的 LaTeX 文檔庫(kù)，這無(wú)疑將極大地推動(dòng)科學(xué)文獻(xiàn)的數(shù)字化進(jìn)程和標(biāo)準(zhǔn)化工作。對(duì)于科研工作者而言，這不僅僅是技術(shù)層面的飛躍，它更標(biāo)志著知識(shí)管理和信息傳播方式的一次重大變革。

馬斯克旗下的人工智能公司 xAI 發(fā)布的 Grok 大模型有助于實(shí)現(xiàn)這一目標(biāo) —— 在經(jīng)歷了最近的一次更新后，Grok 大模型終于能看懂圖像了，甚至還能做公式 OCR、解釋笑話。

AI 銷(xiāo)售和營(yíng)銷(xiāo)自動(dòng)化平臺(tái) Amplemarket 創(chuàng)始人 Luis Batalha 在試用后表示：借助 Grok，他能把理論物理學(xué)家 Feynman 博士論文中的公式轉(zhuǎn)換成 LaTeX。

轉(zhuǎn)化之前的文本長(zhǎng)這樣：

可以看出，里面的公式基本都是手寫(xiě)的，肉眼辨認(rèn)尚有難度。而 Grok 可以把它們轉(zhuǎn)化成如此工整的結(jié)果，而且準(zhǔn)確率令人驚嘆。

圖源：https://x.com/luismbat/status/1850925670408544355

這個(gè)帖子吸引了眾多研究人員的關(guān)注，整個(gè)帖子的瀏覽量已經(jīng)突破 100 萬(wàn)。

還有人曬出了自己用 Grok 識(shí)別出的 18 世紀(jì)文件：  

在識(shí)別其他圖像方面，Grok 表現(xiàn)也非常不錯(cuò)。比如網(wǎng)友上傳了一張手表的照片，Grok 根據(jù)表殼形狀和表帶設(shè)計(jì)猜出了表的品牌（對(duì)手表有研究的讀者可以看下猜得對(duì)不對(duì)）。

你還可以讓 Grok 點(diǎn)評(píng)圖片，它能從時(shí)尚、風(fēng)格、表情等多個(gè)角度進(jìn)行描述。比如針對(duì)下面這張圖，Grok 回答：「圖片中描述了一位動(dòng)漫風(fēng)格的人物，這位人物擁有中等長(zhǎng)度的棕色頭發(fā)，戴著眼鏡，并且正在彈奏貝斯吉他。該角色展現(xiàn)了一種休閑、現(xiàn)代的造型，穿著一件格子衫外套和深色褲子，以及帶有紅色裝飾的白色運(yùn)動(dòng)鞋。這種裝扮表明這是一個(gè)年輕的、可能還在上學(xué)的角色，給人一種悠閑的藝術(shù)氛圍……」

圖源 https://x.com/ItsZeramy/status/1850810276784054313

馬斯克表示，Grok 其實(shí)也可以用來(lái)解釋笑話（梗圖）。

今年三月，Grok-1 正式亮相，在數(shù)學(xué)、推理等能力上取得了不錯(cuò)的成績(jī)。之后，xAI 迅速推出 Grok 1.5，新一代模型實(shí)現(xiàn)了長(zhǎng)上下文理解和高級(jí)推理能力。8 月，Grok 2 上線，在常識(shí)、數(shù)學(xué)競(jìng)賽問(wèn)題 (MATH)、研究生水平科學(xué)知識(shí) (GPQA) 等領(lǐng)域與其他前沿模型相媲美。

如今，在 xAI 不斷完善下，大家終于可以體驗(yàn) Grok 的圖像理解能力了。為了驗(yàn)證各路網(wǎng)友的說(shuō)法，機(jī)器之心在第一時(shí)間進(jìn)行了測(cè)試。

公式 OCR 能力實(shí)測(cè)

首先，機(jī)器之心測(cè)試了一下 Grok 對(duì)公式的處理能力。我們輸入經(jīng)典論文《 Attention Is All You Need 》中的一張公式截圖，要求轉(zhuǎn)換成 LaTeX 代碼。

輸入的公式截圖，對(duì)應(yīng)論文中的公式（1）。

然后，我們將 LaTeX 表達(dá)式輸入到在線 LaTeX 公式編輯器中進(jìn)行轉(zhuǎn)換，比對(duì)之后發(fā)現(xiàn)結(jié)果完全正確。

公式來(lái)源：https://arxiv.org/pdf/1706.03762

之后，我們上了點(diǎn)難度，用手寫(xiě)公式進(jìn)行測(cè)試，輸入的公式截圖看起來(lái)不是很規(guī)范，但 Grok 還是給出了結(jié)果。

梗圖理解能力實(shí)測(cè)

接著，我們?cè)倏纯?Grok 對(duì)圖片的理解能力。

不知大家是否 get 到小女孩吃蛋糕這張圖的笑點(diǎn)。如果沒(méi)有，當(dāng)你看完 Grok 的解釋?zhuān)蟹N恍然大悟的感覺(jué)。

不過(guò)，Grok 并不是總懂幽默。我們輸入如下圖片，圖片原來(lái)的意思應(yīng)該是想表達(dá)打工人的一天似乎都很疲憊，但到了深夜卻格外精神。但 Grok 給出的結(jié)果并不是。

經(jīng)過(guò)測(cè)試，我們還發(fā)現(xiàn) Grok 對(duì)圖片中的中文理解的不是很好，比如錯(cuò)把中文字符「我的精神狀態(tài)」轉(zhuǎn)換成「敵人的精神狀態(tài)」。

Grok vs. ChatGPT，誰(shuí)的識(shí)圖能力更強(qiáng)？   

雖然識(shí)圖是 Grok 的新功能，效果也很驚艷，但在眾多 AI 模型中，這實(shí)在算不上一項(xiàng)新穎的功能。因此，有人在馬斯克的評(píng)論區(qū)發(fā)出靈魂拷問(wèn)，「Grok 到底進(jìn)展到什么程度了？感覺(jué)遠(yuǎn)遠(yuǎn)落后于 ChatGPT 啊」。對(duì)此，馬斯克耐心回復(fù)說(shuō)，「我們只用了幾個(gè)月就完成了其他人花了幾年時(shí)間的工作?！寡韵轮馑坪跏遣恢?，慢慢打磨新功能。

還有網(wǎng)友上傳了一張飲料圖片，讓 Grok 和 ChatGPT 進(jìn)行回答。從上傳的資料來(lái)看，圖片內(nèi)容并不清晰，而且還不是中文，對(duì)于不懂外語(yǔ)的小伙伴可能有點(diǎn)難度。但是 Grok 和 ChatGPT 都給出了回答。

Grok 回答：圖片中的飲料是「???（Baekseju）」 ，這是一種傳統(tǒng)的韓國(guó)酒精飲料。它是一種用人參和其他草藥浸泡的米酒，以其假定的健康益處而聞名。瓶子上的標(biāo)簽顯示了 D，這可能是 Baekseju 的某個(gè)特定品牌或變種。由于其濃烈的風(fēng)味和藥用屬性，通常只消費(fèi)少量。 

ChatGPT 回答：這款飲料是 Bacchus-D，一種在韓國(guó)流行的能量飲料。它通常包含咖啡因、?；撬岷途S生素 B2、B6、B12，這些成分被認(rèn)為可以提升能量水平。在韓國(guó)，它常被用作快速提神的飲品。 

熟悉這款飲料的小伙伴，可以點(diǎn)評(píng)一下，這兩個(gè)模型，哪個(gè)回答的更好。

圖源：https://x.com/chrisfirsttt/status/1850745853843001418

對(duì)于 Grok 沒(méi)有理解的梗圖，我們?cè)?ChatGPT 上也做了測(cè)試。ChatGPT 的回答明顯更勝一籌，中文識(shí)別能力也更強(qiáng)。

經(jīng)過(guò)一番測(cè)試以及網(wǎng)友給出的示例來(lái)看，Grok 在輸出 LaTeX 表達(dá)式方面確實(shí)不錯(cuò)，對(duì)圖片中出現(xiàn)的主體和場(chǎng)景解釋的非常到位，但對(duì)梗圖的解釋時(shí)好時(shí)壞，有時(shí)能完全解釋笑點(diǎn)，有時(shí)會(huì)解釋錯(cuò)誤，此外，Grok 對(duì)中文字符的識(shí)別能力也不是很好。

最后提醒大家一下，Grok 并不是免費(fèi)的，付費(fèi)用戶(hù)才能體驗(yàn)?？梢允褂玫男』锇椋梢赃M(jìn)行測(cè)試了。