近日，兩個(gè)外國小哥Kartik Godawat 和 Deepak Rawat 開發(fā)了一個(gè) Jupyter 插件Text2Code，可以將自然語言查詢轉(zhuǎn)換成相關(guān)的 Python 數(shù)據(jù)分析代碼。

如果能創(chuàng)建一個(gè)桌面軟件，將自然語言直接轉(zhuǎn)換成相關(guān)的 Python 數(shù)據(jù)分析代碼，工作就方便了。

這不，有倆「好事」的程序員耐不住寂寞，把這個(gè)工具做出來。

靈感來自GPT-3，自然語言直接轉(zhuǎn)代碼

2020年6月，OpenAI 推出了GPT-3，它不僅具有未來的 NLP 相關(guān)的諸多功能，而且還能夠生成 React 代碼和shell命令。

倆人從中得到了靈感，他們意識(shí)到在做數(shù)據(jù)分析的時(shí)候，我們經(jīng)常忘記不經(jīng)常使用的 pandas 命令或者語法，需要去搜索，從 StackOverflow 復(fù)制代碼然后需要相應(yīng)地修改變量和列名。

最初他們?cè)噲D把這個(gè)問題作為一個(gè)聊天機(jī)器人來解決，并試圖使用Rasa，但因?yàn)槿狈线m的訓(xùn)練數(shù)據(jù)而夭折了。

他們決定開發(fā)一個(gè)監(jiān)督學(xué)習(xí)模型，該模型可以吃進(jìn)自然語言和代碼的對(duì)應(yīng)語料，然后進(jìn)行訓(xùn)練，完整的pipeline包含了下面幾個(gè)步驟：

生成訓(xùn)練數(shù)據(jù)

為了模擬終端的用戶想向系統(tǒng)查詢的內(nèi)容，我們開始嘗試用英語描述一些命令的格式。

例如：

display a line plot showing $colname on y-axis and $colname on x-axis from $varname

然后，我們通過使用一個(gè)非常簡(jiǎn)單的生成器來替換 $colname 和 $varname 來生成數(shù)據(jù)，以獲得訓(xùn)練集中的變量。

意圖匹配

在生成數(shù)據(jù)之后，需要為特定的意圖映射到一個(gè)唯一的「意圖id」，并使用通用語句編碼器獲取用戶query的embedding，然后用我們預(yù)先定義好的意圖query(生成的數(shù)據(jù))來得到余弦距離。

「通用句子編碼器」-Universal Sentence Encoder類似于 word2vec，會(huì)生成相應(yīng)的embedding，唯一的區(qū)別是這里的嵌入是用于句子而不是單詞。

命名實(shí)體識(shí)別

相同的生成數(shù)據(jù)可以被用來訓(xùn)練一個(gè)自定義的實(shí)體識(shí)別模型，這個(gè)模型可以用來檢測(cè)columns，varaibles，library的名字。

為此，作者還研究了 HuggingFace 模型，但最終決定使用 Spacy 來訓(xùn)練模型，主要是因?yàn)?HuggingFace 模型是基于Transformer的模型，與 Spacy 相比有點(diǎn)過于復(fù)雜繁重。

填充模板

一旦實(shí)體被正確識(shí)別并且意圖被正確匹配，填充模板就變得非常容易。

例如，“ show 5 rows from df”這個(gè)查詢將生成兩個(gè)實(shí)體: 一個(gè)變量和一個(gè)數(shù)值。這個(gè)模板代碼編寫起來很簡(jiǎn)單。

與Jupyter結(jié)合

這是所有步驟里最復(fù)雜的一步，因?yàn)闉?Jupyter 編寫如此復(fù)雜的擴(kuò)展有點(diǎn)棘手，而且?guī)缀鯖]有文檔或示例參考。

他們通過一些嘗試并參考已經(jīng)存在的擴(kuò)展，最終將所有內(nèi)容包裝成一個(gè)單獨(dú)的 Python 包，并且可以直接通過 pip 來安裝。

單單一個(gè)Python包并不能直接使用，于是他們創(chuàng)建了一個(gè)前端以及一個(gè)服務(wù)器擴(kuò)展，當(dāng) jupyter notebook啟動(dòng)時(shí)，就會(huì)被加載。前端向服務(wù)器發(fā)送查詢以獲取生成的模板代碼，然后將其插入notebook的對(duì)應(yīng)單元并執(zhí)行它。

Text2Code的演示

模型也會(huì)失效，但數(shù)據(jù)分析師真的省事了

就像許多機(jī)器學(xué)習(xí)模型一樣，有時(shí)候意圖匹配和命名實(shí)體識(shí)別效果會(huì)很差，即使這個(gè)意圖對(duì)人來說非常簡(jiǎn)單。

有時(shí)也會(huì)識(shí)別不到意圖，就無法生成正確的代碼，作者還考慮使用下面的方法來進(jìn)一步改進(jìn)插件的效果。

收集/生成高質(zhì)量的英語訓(xùn)練數(shù)據(jù)，可以考慮從quroa，StackOverflow爬取更多的高贊回答，嘗試用不同的方式來描述相同的內(nèi)容，增強(qiáng)數(shù)據(jù)；收集真實(shí)世界的變量名和庫名，而不是隨機(jī)生成，使用基于Transformer的模型嘗試命名實(shí)體識(shí)別。

如果這個(gè)模型訓(xùn)練的足夠好，對(duì)數(shù)據(jù)分析師來，能省不少事了。

項(xiàng)目開源地址：

https://github.com/deepklarity/jupyter-text2code