今天很多現(xiàn)有的深度學(xué)習(xí)系統(tǒng)都是基于張量代數(shù)(tensor algebra)而設(shè)計(jì)的，但是張量代數(shù)不僅僅只能用于深度學(xué)習(xí)。本文對(duì)張量進(jìn)行了詳細(xì)的解讀，能幫你在對(duì)張量的理解上更進(jìn)一步。

近段時(shí)間以來(lái)，張量與新的機(jī)器學(xué)習(xí)工具(如 TensorFlow)是非常熱門(mén)的話題，在那些尋求應(yīng)用和學(xué)習(xí)機(jī)器學(xué)習(xí)的人看來(lái)更是如此。但是，當(dāng)你回溯歷史，你會(huì)發(fā)現(xiàn)一些基礎(chǔ)但強(qiáng)大的、有用且可行的方法，它們也利用了張量的能力，而且不是在深度學(xué)習(xí)的場(chǎng)景中。下面會(huì)給出具體解釋。

如果說(shuō)計(jì)算是有傳統(tǒng)的，那么使用線性代數(shù)的數(shù)值計(jì)算就是其中最重要的一支。像 LINPACK 和 LAPACK 這樣的包已經(jīng)是非常老的了，但是在今天它們?nèi)稳环浅?qiáng)大。其核心，線性代數(shù)由非常簡(jiǎn)單且常規(guī)的運(yùn)算構(gòu)成，它們涉及到在一維或二維數(shù)組(這里我們稱(chēng)其為向量或矩陣)上進(jìn)行重復(fù)的乘法和加法運(yùn)算。同時(shí)線性代數(shù)適用范圍異常廣泛，從計(jì)算機(jī)游戲中的圖像渲染到核武器設(shè)計(jì)等許多不同的問(wèn)題都可以被它解決或近似計(jì)算，

關(guān)鍵的線性代數(shù)運(yùn)算：在計(jì)算機(jī)上使用的最基礎(chǔ)的線性代數(shù)運(yùn)算是兩個(gè)向量的點(diǎn)積(dot product)。這種點(diǎn)積僅僅是兩個(gè)向量中相關(guān)元素的乘積和。一個(gè)矩陣和一個(gè)向量的積可以被視為該矩陣和向量行(row)的點(diǎn)積，兩個(gè)矩陣的乘積可以被視為一個(gè)矩陣和另一個(gè)矩陣的每一列(column)進(jìn)行的矩陣-向量乘積的和。此外，再配上用一個(gè)值對(duì)所有元素進(jìn)行逐一的加法和乘法，我們可以構(gòu)造出所需要的線性代數(shù)運(yùn)算機(jī)器。

計(jì)算機(jī)之所以可憑極快速度求出用線性代數(shù)編寫(xiě)的程序值，部分原因是線性代數(shù)具有規(guī)律性。此外，另一個(gè)原因是它們可以大量地被并行處理。完全就潛在性能而言，從早期的 Cray-1(譯者注：Cary-1 是世界上最早的一臺(tái)超級(jí)計(jì)算機(jī)，于 1975 年建造，運(yùn)算速度每秒 1 億次)到今天的 GPU 計(jì)算機(jī)，我們可以發(fā)現(xiàn)性能增長(zhǎng)了超過(guò) 30000 倍。此外，當(dāng)你要考慮用大量 GPU 處理集群數(shù)據(jù)時(shí)，其潛在的性能，在極小成本下，比曾經(jīng)世上最快速的計(jì)算機(jī)大約高出一百萬(wàn)倍。

然而，歷史的模式總是一致的，即要想充分利用新的處理器，我們就要讓運(yùn)算越來(lái)越抽象。Cray-1 和它向量化的后繼者們需要其運(yùn)行程序能夠使用向量運(yùn)算(如點(diǎn)積)才能發(fā)揮出硬件的全部性能。后來(lái)的機(jī)器要求要就矩陣-向量運(yùn)算或矩陣-矩陣運(yùn)算來(lái)將算法形式化，從而方可盡可能地發(fā)揮硬件的價(jià)值。

我們現(xiàn)在正站在這樣一個(gè)結(jié)點(diǎn)上。不同的是我們沒(méi)有任何超越矩陣-矩陣運(yùn)算的辦法，即：我們對(duì)線性代數(shù)的使用已達(dá)極限。

但是，我們沒(méi)有必要把自己限制在線性代數(shù)上。事實(shí)證明，我們可以沿著數(shù)學(xué)這棵大樹(shù)的枝葉往上再爬一段。長(zhǎng)期以來(lái)，人們都知道在數(shù)學(xué)抽象的海洋中存在著比矩陣還要大的魚(yú)，這其中一個(gè)候選就是張量(tensor)。張量是廣義相對(duì)論重要的數(shù)學(xué)基礎(chǔ)，此外它對(duì)于物理學(xué)的其它分支來(lái)說(shuō)也具有基礎(chǔ)性的地位。那么如同數(shù)學(xué)的矩陣和向量概念可被簡(jiǎn)化成我們?cè)谟?jì)算機(jī)中使用的數(shù)組一樣，我們是否可以將張量也簡(jiǎn)化和表征成多維數(shù)組和一些相關(guān)的運(yùn)算呢?很不幸，事情沒(méi)有那么簡(jiǎn)單，這其中的主要原因是不存在一個(gè)顯而易見(jiàn)且簡(jiǎn)單的(如在矩陣和向量上類(lèi)似的)可在張量上進(jìn)行的一系列運(yùn)算。

然而，也有好消息。雖然我們不能對(duì)張量使用僅幾個(gè)運(yùn)算。但是我們可以在張量上寫(xiě)下一套運(yùn)算的模式(pattern)。不過(guò)，這還不不夠，因?yàn)楦鶕?jù)這些模式編寫(xiě)的程序不能像它們寫(xiě)的那樣被充分高效地執(zhí)行。但我們還有另外的好消息：那些效率低下但是編寫(xiě)簡(jiǎn)單的程序可以被(基本上)自動(dòng)轉(zhuǎn)換成可非常高效執(zhí)行的程序。

更贊的是，這種轉(zhuǎn)換可以無(wú)需構(gòu)建一門(mén)新編程語(yǔ)言就能實(shí)現(xiàn)。只需要一個(gè)簡(jiǎn)單的技巧就可以了，當(dāng)我們?cè)?TensorFlow 中寫(xiě)下如下代碼時(shí)：

v1 = tf.constant(3.0) 
v2 = tf.constant(4.0) 
v3 = tf.add(node1, node2) 

實(shí)際情況是，系統(tǒng)將建立一個(gè)像圖 1 中顯示的數(shù)據(jù)結(jié)構(gòu)：

圖 1

圖 1：上方的代碼被轉(zhuǎn)譯成一個(gè)可被重建的數(shù)據(jù)結(jié)構(gòu)，而且它會(huì)被轉(zhuǎn)成機(jī)器可執(zhí)行的形式。將代碼轉(zhuǎn)譯成用戶(hù)可見(jiàn)的數(shù)據(jù)結(jié)構(gòu)可讓我們所編寫(xiě)的程序能被重寫(xiě)從而更高效地執(zhí)行，或者它也可以計(jì)算出一個(gè)導(dǎo)數(shù)，從而使高級(jí)優(yōu)化器可被使用。

該數(shù)據(jù)結(jié)構(gòu)不會(huì)在上面我們展示的程序中實(shí)際執(zhí)行。因此，TensorFlow 才有機(jī)會(huì)在我們實(shí)際運(yùn)行它之前，將數(shù)據(jù)結(jié)構(gòu)重寫(xiě)成更有效的代碼。這也許會(huì)牽涉到我們想讓計(jì)算機(jī)處理的小型或大型結(jié)構(gòu)。它也可生成對(duì)我們使用的計(jì)算機(jī) CPU、使用的集群、或任何手邊可用的 GPU 設(shè)備實(shí)際可執(zhí)行的代碼。對(duì)它來(lái)說(shuō)很贊的一點(diǎn)是，我們可以編寫(xiě)非常簡(jiǎn)單但可實(shí)現(xiàn)令人意想不到結(jié)果的程序。

然而，這只是開(kāi)始。

做一些有用但不一樣的事

TensorFlow 和像它一樣的系統(tǒng)采用的完全是描述機(jī)器學(xué)習(xí)架構(gòu)(如深度神經(jīng)網(wǎng)絡(luò))的程序，然后調(diào)整那個(gè)架構(gòu)的參數(shù)以最小化一些誤差值。它們通過(guò)創(chuàng)建一個(gè)表征我們程序的數(shù)據(jù)結(jié)構(gòu)，和一個(gè)表征相對(duì)于我們模型所有參數(shù)誤差值梯度的數(shù)據(jù)結(jié)構(gòu)來(lái)實(shí)現(xiàn)這一點(diǎn)。這個(gè)梯度函數(shù)的存在使得優(yōu)化變得更加容易。

但是，雖然你可以使用 TensorFlow 或 Caffe 或任何其它基本上同樣工作模式的架構(gòu)來(lái)寫(xiě)程序，不過(guò)你寫(xiě)的程序不一定要去優(yōu)化機(jī)器學(xué)習(xí)函數(shù)。如果你寫(xiě)的程序使用了由你選擇的包(package)提供的張量標(biāo)注，那它就可以?xún)?yōu)化所有類(lèi)型的程序。自動(dòng)微分和***進(jìn)的優(yōu)化器以及對(duì)高效 GPU 代碼的編譯對(duì)你仍然有利。

舉個(gè)簡(jiǎn)例，圖二給出了一個(gè)家庭能耗的簡(jiǎn)單模型。

圖 2

圖 2：該圖顯示了一間房子的日常能耗情況(圓圈)，橫軸代表了溫度(華氏度)。能耗的一個(gè)分段線性模型疊加在了能耗具體數(shù)據(jù)上。模型的參數(shù)按理來(lái)說(shuō)會(huì)形成一個(gè)矩陣，但是當(dāng)我們要處理上百萬(wàn)個(gè)模型時(shí)，我們便可以用到張量。

該圖顯示了一間房子的能耗使用情況，并對(duì)此進(jìn)行了建模。得到一個(gè)模型不是什么難事，但是為了找出這個(gè)模型，筆者需要自己寫(xiě)代碼來(lái)分別對(duì)數(shù)百萬(wàn)間房子的能耗情況進(jìn)行建模才行。如果使用 TensorFlow，我們可以立即為所有這些房子建立模型，并且我們可以使用比之前得到這個(gè)模型更有效的優(yōu)化器。于是，筆者就可以立即對(duì)數(shù)百萬(wàn)個(gè)房間的模型進(jìn)行優(yōu)化，而且其效率比之前我們?cè)嫉某绦蛞叩枚?。理論上我們可以手?dòng)優(yōu)化代碼，并且可以有人工推導(dǎo)的導(dǎo)數(shù)函數(shù)。不過(guò)完成這項(xiàng)工作所需要的時(shí)間，以及更重要的，調(diào)試花費(fèi)的時(shí)間會(huì)讓筆者無(wú)法在有限時(shí)間里建立這個(gè)模型。

這個(gè)例子為我們展示了一個(gè)基于張量的計(jì)算系統(tǒng)如 TensorFlow(或 Caffe 或 Theano 或 MXNet 等等)是可以被用于和深度學(xué)習(xí)非常不同的優(yōu)化問(wèn)題的。

所以，情況可能是這樣的，對(duì)你而言***用的機(jī)器學(xué)習(xí)軟件除了完成機(jī)器學(xué)習(xí)功能以外還可以做很多其它事情。

本文作者為 MapR Technologies 的***應(yīng)用架構(gòu)師 Ted Dunning。

原文：http://www.kdnuggets.com/2017/06/deep-learning-demystifying-tensors.html

【本文是51CTO專(zhuān)欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)譯文，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】

戳這里，看該作者更多好文