AI搜索引擎再度進(jìn)化？！

給這個(gè)AI一個(gè)主題，分分鐘給你甩出一篇論文綜述，而且還會(huì)自己提供論文引文。

又或者輸入一個(gè)科學(xué)類的名詞，AI也能迅速生成這個(gè)名詞專屬的維基百科。

這個(gè)AI名叫Galactica （簡(jiǎn)稱：GAL），是最新開(kāi)源的一個(gè)科學(xué)語(yǔ)言大模型，把AI轉(zhuǎn)化為科學(xué)生產(chǎn)力。

并且還實(shí)現(xiàn)了學(xué)科“大一統(tǒng)”，數(shù)學(xué)、物理、計(jì)算機(jī)…這個(gè)AI都能用。

模型剛一放出，就迅速引發(fā)網(wǎng)友熱議，目前相關(guān)推文已有近15萬(wàn)瀏覽，累計(jì)點(diǎn)贊、轉(zhuǎn)發(fā)、引用也已破五千。

Facebook前技術(shù)官也出來(lái)為它來(lái)站臺(tái)。

還有網(wǎng)友親自體驗(yàn)了一把，寫出來(lái)的文獻(xiàn)綜述“看起來(lái)相當(dāng)不錯(cuò)”，甚至直呼：

下一步它是不是就能產(chǎn)生新想法了。

其實(shí)寫文獻(xiàn)綜述和生產(chǎn)維基百科還只是GAL功能的一部分，除去這些，它還能回答一些專業(yè)問(wèn)題、編寫科學(xué)代碼、注釋分子和蛋白質(zhì)……

具體效果如何，一起來(lái)看看吧～

可以作為科學(xué)生產(chǎn)的工具

提到科學(xué)生產(chǎn)力，就肯定離不開(kāi)論文的查找，這不，GAL幫你解決了。

它涵蓋了五種科學(xué)學(xué)科：機(jī)器學(xué)習(xí)、數(shù)學(xué)、計(jì)算機(jī)科學(xué)、生物以及物理。

選擇好學(xué)科，然后在左邊框輸入想要找的論文主題，右邊GAL便會(huì)推薦最合適的論文以供閱讀。

除了推薦論文之外，GAL還有一個(gè)更加實(shí)用的功能：生成講稿。

比如說(shuō)要做個(gè)關(guān)于密度泛函理論（DFT）的pre，又懶得寫講稿，直接GAL一下，分分鐘搞定（手動(dòng)狗頭）。

GAL還能夠用來(lái)注釋分子和蛋白質(zhì)，如下就是GAL生成的RDKit（可生成用于機(jī)器學(xué)習(xí)的分子描述符）操作手冊(cè)。

在一些細(xì)節(jié)問(wèn)題上，GAL也狠狠拿捏了！

就比如說(shuō)你看不懂一些復(fù)雜的數(shù)學(xué)公式和代碼，沒(méi)關(guān)系交給GAL來(lái)解決，它能直接給你翻譯成大白話。

不僅如此，它還能實(shí)現(xiàn)數(shù)學(xué)公式和代碼之間的相互轉(zhuǎn)換，或者不同類型代碼之間的轉(zhuǎn)換。

更重要的是，他還有簡(jiǎn)化公式和查錯(cuò)功能。

怎么做到的？

GAL能實(shí)現(xiàn)這么復(fù)雜的功能，就不得不提到它的訓(xùn)練數(shù)據(jù)集。

據(jù)官方消息，GAL是在一個(gè)名為NatureBook的新型高質(zhì)量科學(xué)數(shù)據(jù)集上進(jìn)行訓(xùn)練的，這使模型能夠使用科學(xué)術(shù)語(yǔ)、數(shù)學(xué)和化學(xué)公式以及源代碼。

其中包括超過(guò)4800萬(wàn)篇論文、教科書和課堂講稿，還有數(shù)百萬(wàn)計(jì)的化合物和蛋白質(zhì)、科學(xué)網(wǎng)站以及百科全書等等。

除此之外，為了查找論文并規(guī)范化引用，GAL的數(shù)據(jù)集中包含超過(guò)3.6億條上下文引用和超過(guò)5000萬(wàn)條跨不同來(lái)源規(guī)范化的獨(dú)特參考。

有了這么龐大的數(shù)據(jù)集之后，那接下來(lái)便面臨兩個(gè)問(wèn)題。

第一個(gè)問(wèn)題是如何管理這些高質(zhì)量的數(shù)據(jù)集，實(shí)現(xiàn)這點(diǎn)，GAL用了兩步：

所有數(shù)據(jù)都以一種通用的標(biāo)記格式進(jìn)行處理，打通各種來(lái)源數(shù)據(jù)之間的壁壘。

預(yù)訓(xùn)練中包含用于特定任務(wù)的數(shù)據(jù)集，這就能保證在處理特定任務(wù)時(shí)能夠更加專業(yè)。

還有一個(gè)問(wèn)題是：如何設(shè)計(jì)界面交互？

首先就像上文提到的那樣，GAL能夠支持不同類型的任務(wù)。

因此在設(shè)計(jì)界面交互時(shí)便對(duì)各種任務(wù)進(jìn)行分類，不同的分類會(huì)支持不同的類型的數(shù)據(jù)。

既然GAL擁有高度管理和高質(zhì)量的科學(xué)數(shù)據(jù)集，那和其他模型相比效果如何？

直接上數(shù)據(jù)！

推理方面，GAL的優(yōu)勢(shì)脫穎而出，在數(shù)學(xué)MMLU（大規(guī)模多任務(wù)語(yǔ)言理解）上，表現(xiàn)要優(yōu)于Chinchilla，數(shù)學(xué)方面，表現(xiàn)也優(yōu)于PalM 540B和GPT-3 175B。

盡管，GAL并沒(méi)有經(jīng)過(guò)一般數(shù)據(jù)集的訓(xùn)練，但它在BIG-bench上的表現(xiàn)仍舊優(yōu)于BLOOM和OPT-175B。

看完之后是不是也心癢癢了，先碼住再說(shuō)！

傳送門：https://galactica.org/

參考鏈接：[1]https://twitter.com/paperswithcode/status/1592546933679476736[2]https://github.com/paperswithcode/galai[3]https://galactica.org/static/paper.pdf