“ 算子指的是神經(jīng)網(wǎng)絡(luò)中完成特定功能的一些算法節(jié)點(diǎn) ”

在學(xué)習(xí)人工智能技術(shù)的過(guò)程中，簡(jiǎn)單學(xué)習(xí)了一些關(guān)于機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)，以及大模型的訓(xùn)練和微調(diào)過(guò)程。

然后就把大部分精力放到了大模型的應(yīng)用之上，比如AIGC，知識(shí)庫(kù)，Agent等。

而今天，我們來(lái)了解一下大模型技術(shù)的實(shí)現(xiàn)之——算子。

算子

關(guān)于算子這個(gè)概念，也是最近幾天剛接觸到的，在此之前都沒聽過(guò)這個(gè)名詞。還是閑來(lái)無(wú)事瀏覽招聘網(wǎng)站的時(shí)候，看到有招聘算子開發(fā)的崗位，當(dāng)時(shí)看到這個(gè)就有點(diǎn)蒙了，算子是什么玩意？

概念

看網(wǎng)上介紹說(shuō)，算子是大模型中一種實(shí)現(xiàn)某個(gè)功能的算法節(jié)點(diǎn)，簡(jiǎn)單來(lái)說(shuō)就相當(dāng)于一個(gè)編程概念中的函數(shù)，一個(gè)可以實(shí)現(xiàn)某種功能的代碼塊。

當(dāng)然，算子要比函數(shù)更加高級(jí)，也更加復(fù)雜；原因就是因?yàn)椋阕与m然從邏輯上與函數(shù)的功能差不多，但在實(shí)現(xiàn)上要比函數(shù)要復(fù)雜得多，也可能就是多個(gè)復(fù)雜函數(shù)的組合。

舉個(gè)例子，卷積網(wǎng)絡(luò)中每一個(gè)卷積節(jié)點(diǎn)都屬于一個(gè)算子；如果從更加抽象的角度來(lái)說(shuō)，整個(gè)神經(jīng)網(wǎng)絡(luò)也算是一種算子。

算子的原理

算子的實(shí)現(xiàn)原理其實(shí)就像前面說(shuō)的編程里的函數(shù)一樣，算子就是對(duì)復(fù)雜算法的封裝；比如，我們?cè)趯?shí)現(xiàn)一個(gè)卷積網(wǎng)絡(luò)的過(guò)程中，一行代碼可能就實(shí)現(xiàn)了卷積層，但里面具體的實(shí)現(xiàn)邏輯，有幾個(gè)人知道？或者說(shuō)你能說(shuō)明白某個(gè)卷積層是怎么實(shí)現(xiàn)的嗎？

而這就是算子開發(fā)工程師需要做的事情，就是把一個(gè)神經(jīng)網(wǎng)絡(luò)模型通過(guò)算子這個(gè)載體給具象化。

算子實(shí)現(xiàn)的重難點(diǎn)

我們知道，大模型技術(shù)是基于龐大的算力基礎(chǔ)之上的，而算力的主要提供則是計(jì)算核心GPU，說(shuō)白了就是芯片。

但不同的芯片使用的是不同的架構(gòu)方式以及實(shí)現(xiàn)理念，因此使用不同的芯片提供算力，就需要大模型在底層能夠屏蔽不同芯片之間的差異。

而且，從提升大模型的性能和節(jié)省成本的角度考慮，怎么發(fā)揮芯片的最大性能，也是一個(gè)值得思考的問(wèn)題。

因此，算子主要解決兩個(gè)問(wèn)題，第一，如果把大模型比作樂高，那么算子就是一塊一塊的積木，通過(guò)多種不同的積木來(lái)實(shí)現(xiàn)大模型的功能。第二，算子是發(fā)揮芯片性能的重要方式之一。

當(dāng)然，算子根據(jù)不同的功能也區(qū)分不同的類型，比如負(fù)責(zé)提供計(jì)算的算子就需要結(jié)合具體的芯片；而負(fù)責(zé)更加高級(jí)功能的算子模塊，就可以使用使用計(jì)算算子作為底層，實(shí)現(xiàn)更加高級(jí)的通用功能。

總結(jié)

想做算子開發(fā)，需要有足夠的數(shù)學(xué)理論和硬件知識(shí)，否則做算子開發(fā)就是一個(gè)笑話，基本上無(wú)從下手。

大模型是一個(gè)黑盒，那么算子就是這個(gè)黑盒中的零件，沒有算子就沒有大模型。大模型之爭(zhēng)，也可以說(shuō)是算子之爭(zhēng)。

學(xué)習(xí)大模型技術(shù)是一個(gè)系統(tǒng)性的工程，我們要知道不同的技術(shù)在大模型中扮演著什么角色，解決了什么問(wèn)題，否則就會(huì)一直處在似懂非懂的狀態(tài)。

本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者：DFires

原文鏈接：??https://mp.weixin.qq.com/s/ejySuasTO-MG4U9MtjSGnw??