[[420928]]

簡(jiǎn)介

image-to-latex 是一個(gè)能將 LaTeX 數(shù)學(xué)方程的圖像映射到 LaTeX 代碼的應(yīng)用程序。

Yuntian Deng 等人在 2016 年提出并嘗試了 image-to-markup 的問(wèn)題。他們通過(guò)解析來(lái)自 arXiv 的 LaTeX 論文來(lái)源，提取了大約 10 萬(wàn)個(gè)公式。他們使用 pdflatex 渲染公式并將渲染的 PDF 文件轉(zhuǎn)換為 PNG 格式。在他們的模型中，首先使用 CNN 來(lái)提取圖像特征。然后使用 RNN 對(duì)特征行進(jìn)行編碼。

最后，編碼特征由 RNN 解碼器使用。該模型共有 948 萬(wàn)個(gè)參數(shù)。最近，Transformer 在很多語(yǔ)言任務(wù)上都超過(guò)了 RNN，所以作者在這個(gè)問(wèn)題上進(jìn)行了新的嘗試。

項(xiàng)目地址：

https://github.com/kingyiusuen/image-to-latex

下載安裝

安裝

將源代碼 clone 到本地文件夾：

git clone https://github.com/kingyiusuen/image-to-latex.git 
 
cd image-to-latex 

創(chuàng)建名稱(chēng)為 venv 的虛擬環(huán)境，并安裝所需的包：

make venv 
 
make install-dev 

數(shù)據(jù)預(yù)處理

運(yùn)行以下命令下載 im2latex 數(shù)據(jù)集并進(jìn)行所有預(yù)處理，圖像裁剪步驟可能需要一個(gè)多小時(shí)。

python scripts/prepare_data.py 

部署

創(chuàng)建 API 以使用經(jīng)過(guò)訓(xùn)練的模型進(jìn)行預(yù)測(cè)。使用以下命令啟動(dòng)并運(yùn)行服務(wù)器：

make api 

可以通過(guò) http://0.0.0.0:8000/docs 上生成的文檔查看 API 的使用方法。

模型架構(gòu)

運(yùn)行例子