[[357137]]

本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請至雷鋒網(wǎng)官網(wǎng)申請授權(quán)。

從我的AI之旅開始，我發(fā)現(xiàn)了一些具有無窮潛力的想法和概念，它們在輝煌的歷史上留下了自己的印記。

今天，我決定整理一些最有趣的想法和概念的清單（根據(jù)我自己的經(jīng)驗(yàn)），這些想法和概念讓我這些年來都堅(jiān)持不懈。希望他們也能像激勵(lì)我一樣激勵(lì)你。

因此，讓我們從AI愛好者的“初戀”開始。 

1.神經(jīng)網(wǎng)絡(luò)-“來自仿生學(xué)的靈感”

每個(gè)使用統(tǒng)計(jì)模型（例如回歸模型和所有模型）的新機(jī)器學(xué)習(xí)（Machin Learning，ML）開發(fā)人員，在首次學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）時(shí)都經(jīng)歷了腎上腺素激增的過程；這是處在深度學(xué)習(xí)的門口。

這里，基本思想是通過編程來模仿生物神經(jīng)元的工作，實(shí)現(xiàn)通用函數(shù)逼近。

神經(jīng)科學(xué)和計(jì)算機(jī)科學(xué)這兩個(gè)領(lǐng)域的融合本身就是一個(gè)令人興奮的想法。 我們將在以后進(jìn)行詳細(xì)探討。

數(shù)學(xué)上，突觸和連接如何濃縮為大規(guī)模的矩陣乘法； 神經(jīng)元的放電與激活函數(shù)如何類似，如S函數(shù)（sigmoid）； 大腦中的高級認(rèn)知抽象和人工神經(jīng)網(wǎng)絡(luò)的黑匣子聽起來如何既神秘又酷。 所有的這些給新的ML開發(fā)人員帶來了希望，這是不可思議的。

圖源：作者提供（Canva制作）

在這一點(diǎn)上，新手認(rèn)為：“從根本上說，這種受生物啟發(fā)的技術(shù)可以實(shí)現(xiàn)一切。 畢竟，大自然選擇了執(zhí)行流程的最佳、最有效的方式，難道不是嗎？”

 只有在以后的課程中，他們才會(huì)學(xué)習(xí)ANN的部分啟發(fā)方式，因此仍會(huì)有很大的局限性。

從理論上講，一切聽起來都不錯(cuò)，但他們不切實(shí)際的雄心勃勃的夢想就消失了，就像在錯(cuò)誤配置的神經(jīng)網(wǎng)絡(luò)訓(xùn)練課程中的梯度一樣（get到這個(gè)點(diǎn)了嗎？哈哈）。

2.基因算法-“向達(dá)爾文問好”

基因算法是另外一類可以應(yīng)用于計(jì)算機(jī)科學(xué)領(lǐng)域的受自然啟發(fā)得到的算法。在這里你會(huì)找到與達(dá)爾文進(jìn)化論有關(guān)所有的術(shù)語，有如-突變，繁衍，人口，交叉，適者生存等等。

這些進(jìn)化算法背后的思想是遵循自然選擇，只有最適應(yīng)環(huán)境的個(gè)體才有機(jī)會(huì)繁衍后代。而為了在人口中增加一些多樣性，最適應(yīng)環(huán)境的個(gè)體所擁有的染色體每過一段時(shí)間就會(huì)隨機(jī)地突變一次。

在這里，“個(gè)體”指的是給定問題的一個(gè)可能的答案

來看一下它的工作流

圖源：來自于作者（使用Canva設(shè)計(jì)出來的）

簡潔明了，不是嗎？

這個(gè)看起來簡單的算法在現(xiàn)實(shí)世界中可以應(yīng)用在很多場景，例如-優(yōu)化，遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程，某些問題解決任務(wù)的平行化，圖像處理之類的。

盡管有這么多的可行方向，基因算法目前還沒有任何實(shí)際成果。

3.自我編輯程序 -“需要小心的程序員”

作為基因算法應(yīng)用的延續(xù)，這一個(gè)當(dāng)然是最令人興奮的，而它也值得擁有一個(gè)獨(dú)立的小節(jié)。

想象存在一個(gè)AI程序可以修改它自身的源代碼。它一次又一次地改進(jìn)著自己，循環(huán)多次，直到它最終實(shí)現(xiàn)了自己的目標(biāo)。

很多人相信，

自我改進(jìn)/編輯代碼+AGI=AI超級智慧

顯然，要實(shí)現(xiàn)這個(gè)方法還存在有很多困難，但想一下2013年的這個(gè)實(shí)驗(yàn)：一個(gè)基因算法可以用Brainfuck（一種編程語言）來構(gòu)造一個(gè)可以打印出“hello”的程序。

那個(gè)基因算法的源代碼中沒有寫入任何的編程原則，只是一個(gè)樸素，古老的自然選擇算法。在29分鐘之內(nèi)，它生成了這個(gè)-

<ahelp_3" name="help_3"></ahelp_3"> 
 
+++><>.]]]]  

當(dāng)你在Brainfuck編譯器中運(yùn)行這段代碼時(shí)，它會(huì)打印“hello”。這個(gè)實(shí)驗(yàn)成功了！

這證實(shí)了基因算法的威力，也展現(xiàn)出了在給予足夠的時(shí)間和計(jì)算資源下它的能力。

4.神經(jīng)常微分方程 -“螺旋層”

回到幾年前，在4854份遞交到NeurIPS的研究論文中，這篇名為“神經(jīng)常微分方程”的論文脫穎而出，成為了最好的4篇論文之一。

它有什么了不起的呢？因?yàn)樗_切地改變了我們對神經(jīng)網(wǎng)絡(luò)的看法。

傳統(tǒng)意義上的神經(jīng)網(wǎng)絡(luò)擁有的層數(shù)是離散的，同時(shí)依賴于梯度下降和反向傳播來進(jìn)行優(yōu)化（尋找全局最小值）。當(dāng)我們增加層數(shù)時(shí)，我們的內(nèi)存消耗也在增加，但我們不再需要那么做，理論上說。

我們可以從離散層模型轉(zhuǎn)換成連續(xù)層模型-從而擁有無限層。

源：上面提到的研究論文

我們不需要事先確定層數(shù)。而是輸入你想要的精確度然后看著以常數(shù)內(nèi)存為代價(jià)的魔術(shù)發(fā)生。

根據(jù)這篇論文，這個(gè)方法在時(shí)間序列數(shù)據(jù)中（特別是不規(guī)則的時(shí)間序列數(shù)據(jù)）比傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)的表現(xiàn)都要更好。

  源：上面提到的研究論文

利用這種新的技術(shù)，我們可以使用任何常微分方程求解器（OOE Solver），像是歐拉方法來取代梯度上升，使得整個(gè)過程更有效率。

而且正如你所知，時(shí)間序列數(shù)據(jù)無所不在-從證券市場的金融數(shù)據(jù)到醫(yī)療保健產(chǎn)業(yè)，因此一旦這項(xiàng)技術(shù)成熟它的應(yīng)用將十分廣泛。但它目前仍然有待發(fā)展。

希望它能往好的方向發(fā)展吧！

5.神經(jīng)進(jìn)化-“再一次地模仿自然”

神經(jīng)進(jìn)化是一個(gè)過去的想法，最早可以追溯到二十一世紀(jì)初期，由于最近在強(qiáng)化學(xué)習(xí)的領(lǐng)域中和著名的反向傳播算法進(jìn)行比較而顯示出其前景和發(fā)展。比如在神經(jīng)架構(gòu)搜索，自動(dòng)機(jī)器學(xué)習(xí)，超參數(shù)優(yōu)化等領(lǐng)域。

用一句話來說，“神經(jīng)進(jìn)化是一項(xiàng)利用基因算法改進(jìn)神經(jīng)網(wǎng)絡(luò)的技術(shù)”，不僅僅可以改進(jìn)權(quán)重和參數(shù)，還能改進(jìn)網(wǎng)絡(luò)的（拓?fù)洌┙Y(jié)構(gòu)（最新的研究）。

這是一場梯度下降優(yōu)化算法和進(jìn)化優(yōu)化算法在訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型上的戰(zhàn)役。

源：https：//blog.otoro.net

但我們?yōu)槭裁匆褂盟兀?/p>

因?yàn)?，在Uber最近的研究中（深度神經(jīng)進(jìn)化），他們發(fā)現(xiàn)這項(xiàng)技術(shù)比起反向傳播可以使模型更快的收斂。在比較低端的PC上幾天的計(jì)算時(shí)間可以縮短為幾個(gè)小時(shí)。

如果你正在用梯度下降訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)并卡在了像局部最優(yōu)點(diǎn)或者梯度彌散的地方，那么神經(jīng)進(jìn)化可以幫你得到更好的結(jié)果。

你不需為這項(xiàng)替換付出。在每個(gè)神經(jīng)網(wǎng)絡(luò)被應(yīng)用到的場所，這項(xiàng)技術(shù)都可以被用來優(yōu)化并訓(xùn)練它們。

“兩個(gè)腦袋比一個(gè)腦袋來的要好，不是因?yàn)橛心硞€(gè)腦袋不容易出錯(cuò)，而是因?yàn)樗鼈儾惶赡芊竿环N錯(cuò)誤。"-C.S Lewis

6.谷歌的AI孩子-”AI創(chuàng)造AI“

調(diào)整超參數(shù)是一項(xiàng)每個(gè)數(shù)據(jù)科學(xué)家都深惡痛絕的繁瑣而又無聊的任務(wù)。由于神經(jīng)網(wǎng)絡(luò)實(shí)際上是一個(gè)黑盒子，我們無法明確地知道我們改變的超參數(shù)會(huì)如何影響一個(gè)網(wǎng)絡(luò)的學(xué)習(xí)。

在2018年，谷歌在自動(dòng)機(jī)器學(xué)習(xí)（AutoML）的世界中作出了一項(xiàng)突破，制作出了一個(gè)叫做NASNet的模型。這個(gè)物品識(shí)別模型擁有82.7%的準(zhǔn)確率，比計(jì)算機(jī)視覺領(lǐng)域內(nèi)的其他任何模型都要高1.2%，同時(shí)效率還要至少高出4%。

最重要的是，它是通過使用強(qiáng)化學(xué)習(xí)的方法，在另外一個(gè)AI的幫助下發(fā)展而成的。

 

圖源：谷歌研究院

“神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)”。。。這確實(shí)是一個(gè)驚人的想法，你不這么認(rèn)為嗎？

在這里，它的家長AI叫做Controller network（控制者網(wǎng)絡(luò)），它在數(shù)千次的迭代中逐步培養(yǎng)出其AI孩子。在每次迭代中，它計(jì)算出孩子的性能并使用這個(gè)信息來在下一次迭代中建造一個(gè)更好的模型。

這種創(chuàng)造性的思考方式推動(dòng)了”學(xué)會(huì)學(xué)習(xí)“的概念（或者元學(xué)習(xí)），從而不論是從準(zhǔn)確性還是效率都可以擊敗這個(gè)星球上任何人類所設(shè)計(jì)出來的神經(jīng)網(wǎng)絡(luò)。

想象一下在計(jì)算機(jī)視覺的領(lǐng)域之外它還能做什么。難怪這個(gè)概念激起了人們對于超級過載人工智慧最深的恐懼。

7. GANs-”神經(jīng)網(wǎng)絡(luò) vs. 神經(jīng)網(wǎng)絡(luò)“

GAN是生成式對抗網(wǎng)絡(luò)的簡寫，它們可以學(xué)會(huì)模仿任意的數(shù)據(jù)分布。

這是什么意思呢？

在GANs之前，機(jī)器學(xué)習(xí)算法專注于尋找輸入和輸出之間的關(guān)聯(lián)。它們被叫做判別算法。例如，一個(gè)圖像分類器可以區(qū)分蘋果和橙子。

當(dāng)你把一張照片輸入到網(wǎng)絡(luò)中時(shí)，它或返回0（我們讓它指代蘋果）或者返回1（指橙子）。你可以認(rèn)為它在分配標(biāo)簽。它在內(nèi)部創(chuàng)建了一個(gè)模型，確定了哪些特征對應(yīng)了蘋果，哪些特征對應(yīng)了橙子，然后吐出一個(gè)帶有一定概率的標(biāo)簽。。

然而。。。盡管它們在內(nèi)部可能有辦法用某種方式表示蘋果和橙子從而對它們進(jìn)行比較，但它們沒有辦法生成出蘋果和橙子的圖片。

這里就是GANs拿手的地方。一個(gè)GAN包含了兩個(gè)網(wǎng)絡(luò)-一個(gè)生成器和一個(gè)鑒別器。

沿用之前的例子，如果我們想要生成一張?zhí)O果的照片，那么我會(huì)使用一個(gè)解卷積網(wǎng)絡(luò)來作為我的生成器以及一個(gè)卷積網(wǎng)絡(luò)來作為我的鑒別器。

這個(gè)生成器一開始只會(huì)生成一張隨機(jī)的噪聲圖像并試著讓它看起來像是一個(gè)蘋果。另一方面，鑒別器會(huì)試著鑒別出輸入的圖片是真實(shí)的還是偽造的（由生成器所生成）。

如果鑒別器可以正確地區(qū)分出圖片，那么生成器就要努力改進(jìn)自己去生成出更加真實(shí)的圖片。同時(shí)鑒別器也努力提高自己的判別能力。這意味著，不管如何，改進(jìn)都是不可避免的，問題只是它發(fā)生在鑒別器身上還是生成器身上而已。

這看起來有點(diǎn)像一種雙重反饋循環(huán)。

GANs的復(fù)雜性使得它們難以訓(xùn)練，最近在英偉達(dá)發(fā)布的一篇研究論文中他們描述了一種方法，通過漸進(jìn)地改進(jìn)生成器和鑒別器來訓(xùn)練GANs。（有趣的說法?。?/p>

關(guān)于GAN的機(jī)制我們說的足夠多了，那么我們該如何使用它呢？

一些酷炫的GAN的應(yīng)用：

• 使面孔變老

• 超高分辨率

• 圖像混合

• 衣服轉(zhuǎn)換

• 3D物體生成，之類的。

更多信息可以參見這篇文章。

8.遷移學(xué)習(xí)-”使用預(yù)先訓(xùn)練好的網(wǎng)絡(luò)“

從零開始訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)是需要昂貴的計(jì)算成本，有時(shí)還會(huì)變得非?；靵y。但試想一下我們可以從另外一個(gè)以前在其他數(shù)據(jù)集上已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)中獲取知識(shí)，并將其重新用在我們新的目標(biāo)數(shù)據(jù)集的訓(xùn)練過程中。

這樣子，我們可以加速在新的領(lǐng)域上進(jìn)行學(xué)習(xí)的過程并且節(jié)省大量的計(jì)算能耗和資源。可以把它想成是一場起點(diǎn)比其他人要靠前的跑步比賽。

不要把你的時(shí)間浪費(fèi)在重復(fù)造輪子上

顯然，你不可以把這項(xiàng)技術(shù)用在兩個(gè)毫不相關(guān)的領(lǐng)域上，但在一些領(lǐng)域上-自然語言處理和計(jì)算機(jī)視覺，使用已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)是一種新的規(guī)范

  Source：https://www.topbots.com/

計(jì)算機(jī)視覺領(lǐng)域中，在物品偵測，物品識(shí)別，和圖像分類任務(wù)中，人們會(huì)使用像VGG ConvNet，AlexNet，ResNet-50，InceptionV3，EfficientNet之類的已經(jīng)預(yù)訓(xùn)練好的網(wǎng)絡(luò)。特別是在任務(wù)剛開始的階段。

即使是在像神經(jīng)風(fēng)格轉(zhuǎn)移（NST）這樣的任務(wù)上，你可以使用VGG19來迅速獲取內(nèi)在表示從而節(jié)省時(shí)間。

在如情感識(shí)別和語言翻譯的NLP任務(wù)中，各類的不同詞向量嵌入方法如斯坦福的GloVe（表示詞匯的全局向量）或者谷歌的Word2Vec都是標(biāo)配。

我不想提及那些最新的語言模型（那些大家伙）如谷歌的BERT，OpenAI的GPT-2（生成式預(yù)訓(xùn)練Transformer），和全能的GPT-3。他們都是在我們這些平民難以想象的海量的信息中訓(xùn)練出來的。他們幾乎把整個(gè)網(wǎng)絡(luò)作為他們的輸入數(shù)據(jù)集并花費(fèi)了數(shù)百萬美元來進(jìn)行訓(xùn)練。

從這一點(diǎn)而言，它看起來像是未來我們使用的預(yù)訓(xùn)練網(wǎng)絡(luò)。

9.神經(jīng)形態(tài)架構(gòu) -”次世代材料“

在看了那么多軟件世界的進(jìn)展之后，我們來關(guān)注一下硬件部分。

但在那之前，先來看一下這個(gè)荒謬的對比。。。

人類的腦子里平均有860億個(gè)神經(jīng)元和大約1千萬億突觸。直觀地說，你實(shí)際上可以通過解開你的腦子來到達(dá)月球（用400000千米長的神經(jīng)纖維）。

如果你想要模擬你的腦子，你需要消耗大量的計(jì)算能源（1百億億次運(yùn)算），這是在現(xiàn)有的技術(shù)水平上無法實(shí)現(xiàn)的。

即使是最強(qiáng)大的超級計(jì)算機(jī)也無法實(shí)現(xiàn)這么大的運(yùn)算量，更別提我們的大腦僅僅需要20瓦的電力（比點(diǎn)燃一個(gè)燈泡還少）就可以做到這種程度。

為什么？因?yàn)?rdquo;架構(gòu)“

圖源：https://randommathgenerator.com/

你知道嗎，今天我們用到的每一臺(tái)計(jì)算機(jī)都是基于一個(gè)有75年歷史的架構(gòu)，即馮諾依曼架構(gòu)。在這個(gè)架構(gòu)中，內(nèi)存和處理器是相互分離的，這使得我們在執(zhí)行大運(yùn)算量的任務(wù)，如大型矩陣乘法，時(shí)存在著性能瓶頸。

這個(gè)馮諾依曼瓶頸的產(chǎn)生是因?yàn)槲覀儓?zhí)行一系列指令的時(shí)候傳入輸入和得到輸出的過程是有順序的。但在我們的腦子中，進(jìn)行記憶和處理的單元本質(zhì)上是同一個(gè)，這使得它可以用閃電般的速度處理巨量的數(shù)據(jù)同時(shí)只需要消耗極小量的能量。在這里，連接記憶和處理單元的就是記憶本身。

有一些公司例如IBM和Intel正嘗試模擬一個(gè)像我們生物的腦子一樣的架構(gòu)。它最終會(huì)催生出一種新的計(jì)算方式，神經(jīng)形態(tài)計(jì)算。

使用多塊GPU和TPU的日子就要到頭了。我真的迫不及待那一天的到來！

進(jìn)展：IBM的真北芯片和Intel的神經(jīng)形態(tài)芯片。

10.通用人工智能（AGI）-“我們的終極目標(biāo)”

當(dāng)你聽到有人嘶喊到“總有一天，AI會(huì)把我們都?xì)⒐狻?rdquo;那么通用人工智能最有可能做出這樣的事情。

為什么？

因?yàn)楝F(xiàn)在我們正在處理的是“弱人工智能”意思是我們現(xiàn)在的模型在它們的特定領(lǐng)域之外一無是處。但是，全球的科學(xué)家和研究人員都在致力于產(chǎn)生一種可以完成各類任務(wù)，或者能學(xué)會(huì)完成幾乎任何給定任務(wù)的人工智能。

如果他們成功了，可以預(yù)測到的是，這會(huì)導(dǎo)致智慧爆炸，遠(yuǎn)超人類的智慧并最終催生出超級智能。

當(dāng)這件事發(fā)生的時(shí)候，那個(gè)超級智能會(huì)變成一個(gè)擁有知覺，自我意識(shí)，以及更高的認(rèn)知能力的存在。

[[357138]]

源：https://www.theverge.com(實(shí)在忍不住放上這張照片）

之后會(huì)發(fā)生什么？只有天知道。

有一個(gè)專門的詞來形容這種情況。Singularity是一個(gè)假設(shè)的時(shí)間點(diǎn)，到那個(gè)時(shí)候技術(shù)發(fā)展會(huì)變得不可控且不可逆，最終對人類文明產(chǎn)生不可預(yù)見的改變。-維基百科

我們不能簡單地停止它的發(fā)展嗎？不。

人工智能就像是今天的電能一樣。我們對它擁有著重度依賴，停止它的發(fā)展就像是回到黑暗時(shí)代。此外，沒有國家會(huì)停止它的發(fā)展因?yàn)橛幸环N共同的心態(tài)-”即使我們不發(fā)展，他們也會(huì)“-就像我們制造具有大規(guī)模殺傷力的核武器時(shí)的心態(tài)。

埃隆馬斯克的擔(dān)心并非空穴來風(fēng)。他是認(rèn)真的。

總結(jié)

我覺得已經(jīng)說出了一些制造一個(gè)完美AI的方法的要點(diǎn)。但誰在乎呢？除非我們有辦法和他們共存。

我希望在Neuralink工作的人們能夠在世界末日之前完成他們的人腦-機(jī)器接口。且埃隆馬斯克設(shè)法在不把我們的腦子暴露給新世代黑客的情況下使用它。

為了一個(gè)烏托邦式的未來，我們可以暫時(shí)停止?fàn)幷?。最后我想說，我非常享受寫這一篇文章，我希望你也能樂在其中。