[[357174]]

從我的AI之旅開始，我發(fā)現(xiàn)了一些具有無窮潛力的想法和概念，它們在輝煌的歷史上留下了自己的印記。

今天，我決定整理一些最有趣的想法和概念的清單（根據(jù)我自己的經(jīng)驗），這些想法和概念讓我這些年來都堅持不懈。希望他們也能像激勵我一樣激勵你。

因此，讓我們從AI愛好者的“初戀”開始。

1.神經(jīng)網(wǎng)絡(luò)-“來自仿生學(xué)的靈感”

每個使用統(tǒng)計模型（例如回歸模型和所有模型）的新機(jī)器學(xué)習(xí)（Machin Learning，ML）開發(fā)人員，在首次學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）時都經(jīng)歷了腎上腺素激增的過程；這是處在深度學(xué)習(xí)的門口。

這里，基本思想是通過編程來模仿生物神經(jīng)元的工作，實(shí)現(xiàn)通用函數(shù)逼近。

神經(jīng)科學(xué)和計算機(jī)科學(xué)這兩個領(lǐng)域的融合本身就是一個令人興奮的想法。 我們將在以后進(jìn)行詳細(xì)探討。

數(shù)學(xué)上，突觸和連接如何濃縮為大規(guī)模的矩陣乘法； 神經(jīng)元的放電與激活函數(shù)如何類似，如S函數(shù)（sigmoid）； 大腦中的高級認(rèn)知抽象和人工神經(jīng)網(wǎng)絡(luò)的黑匣子聽起來如何既神秘又酷。 所有的這些給新的ML開發(fā)人員帶來了希望，這是不可思議的。

圖源：作者提供（Canva制作）

在這一點(diǎn)上，新手認(rèn)為：“從根本上說，這種受生物啟發(fā)的技術(shù)可以實(shí)現(xiàn)一切。 畢竟，大自然選擇了執(zhí)行流程的最佳、最有效的方式，難道不是嗎？”

只有在以后的課程中，他們才會學(xué)習(xí)ANN的部分啟發(fā)方式，因此仍會有很大的局限性。

從理論上講，一切聽起來都不錯，但他們不切實(shí)際的雄心勃勃的夢想就消失了，就像在錯誤配置的神經(jīng)網(wǎng)絡(luò)訓(xùn)練課程中的梯度一樣（get到這個點(diǎn)了嗎？哈哈）。

2.基因算法-“向達(dá)爾文問好”

基因算法是另外一類可以應(yīng)用于計算機(jī)科學(xué)領(lǐng)域的受自然啟發(fā)得到的算法。在這里你會找到與達(dá)爾文進(jìn)化論有關(guān)所有的術(shù)語，有如-突變，繁衍，人口，交叉，適者生存等等。

這些進(jìn)化算法背后的思想是遵循自然選擇，只有最適應(yīng)環(huán)境的個體才有機(jī)會繁衍后代。而為了在人口中增加一些多樣性，最適應(yīng)環(huán)境的個體所擁有的染色體每過一段時間就會隨機(jī)地突變一次。

在這里，“個體”指的是給定問題的一個可能的答案

來看一下它的工作流

圖源：來自于作者（使用Canva設(shè)計出來的）

簡潔明了，不是嗎？

這個看起來簡單的算法在現(xiàn)實(shí)世界中可以應(yīng)用在很多場景，例如-優(yōu)化，遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程，某些問題解決任務(wù)的平行化，圖像處理之類的。

盡管有這么多的可行方向，基因算法目前還沒有任何實(shí)際成果。

3.自我編輯程序 -“需要小心的程序員”

作為基因算法應(yīng)用的延續(xù)，這一個當(dāng)然是最令人興奮的，而它也值得擁有一個獨(dú)立的小節(jié)。

想象存在一個AI程序可以修改它自身的源代碼。它一次又一次地改進(jìn)著自己，循環(huán)多次，直到它最終實(shí)現(xiàn)了自己的目標(biāo)。

很多人相信，

自我改進(jìn)/編輯代碼+AGI=AI超級智慧
顯然，要實(shí)現(xiàn)這個方法還存在有很多困難，但想一下2013年的這個實(shí)驗：一個基因算法可以用Brainfuck（一種編程語言）來構(gòu)造一個可以打印出“hello”的程序。

那個基因算法的源代碼中沒有寫入任何的編程原則，只是一個樸素，古老的自然選擇算法。在29分鐘之內(nèi)，它生成了這個-

+++><>.]]]]
當(dāng)你在Brainfuck編譯器中運(yùn)行這段代碼時，它會打印“hello”。這個實(shí)驗成功了！

這證實(shí)了基因算法的威力，也展現(xiàn)出了在給予足夠的時間和計算資源下它的能力。

4.神經(jīng)常微分方程 -“螺旋層”

回到幾年前，在4854份遞交到NeurIPS的研究論文中，這篇名為“神經(jīng)常微分方程”的論文脫穎而出，成為了最好的4篇論文之一。

它有什么了不起的呢？因為它確切地改變了我們對神經(jīng)網(wǎng)絡(luò)的看法。

傳統(tǒng)意義上的神經(jīng)網(wǎng)絡(luò)擁有的層數(shù)是離散的，同時依賴于梯度下降和反向傳播來進(jìn)行優(yōu)化（尋找全局最小值）。當(dāng)我們增加層數(shù)時，我們的內(nèi)存消耗也在增加，但我們不再需要那么做，理論上說。

我們可以從離散層模型轉(zhuǎn)換成連續(xù)層模型-從而擁有無限層。

源：上面提到的研究論文

我們不需要事先確定層數(shù)。而是輸入你想要的精確度然后看著以常數(shù)內(nèi)存為代價的魔術(shù)發(fā)生。

根據(jù)這篇論文，這個方法在時間序列數(shù)據(jù)中（特別是不規(guī)則的時間序列數(shù)據(jù)）比傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)的表現(xiàn)都要更好。

源：上面提到的研究論文

利用這種新的技術(shù)，我們可以使用任何常微分方程求解器（OOE Solver），像是歐拉方法來取代梯度上升，使得整個過程更有效率。

而且正如你所知，時間序列數(shù)據(jù)無所不在-從證券市場的金融數(shù)據(jù)到醫(yī)療保健產(chǎn)業(yè)，因此一旦這項技術(shù)成熟它的應(yīng)用將十分廣泛。但它目前仍然有待發(fā)展。

希望它能往好的方向發(fā)展吧！

5.神經(jīng)進(jìn)化-“再一次地模仿自然”

神經(jīng)進(jìn)化是一個過去的想法，最早可以追溯到二十一世紀(jì)初期，由于最近在強(qiáng)化學(xué)習(xí)的領(lǐng)域中和著名的反向傳播算法進(jìn)行比較而顯示出其前景和發(fā)展。比如在神經(jīng)架構(gòu)搜索，自動機(jī)器學(xué)習(xí)，超參數(shù)優(yōu)化等領(lǐng)域。

用一句話來說，“神經(jīng)進(jìn)化是一項利用基因算法改進(jìn)神經(jīng)網(wǎng)絡(luò)的技術(shù)”，不僅僅可以改進(jìn)權(quán)重和參數(shù)，還能改進(jìn)網(wǎng)絡(luò)的（拓?fù)洌┙Y(jié)構(gòu)（最新的研究）。

這是一場梯度下降優(yōu)化算法和進(jìn)化優(yōu)化算法在訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型上的戰(zhàn)役。

源：https：//blog.otoro.net

但我們?yōu)槭裁匆褂盟兀?/p>

因為，在Uber最近的研究中（深度神經(jīng)進(jìn)化），他們發(fā)現(xiàn)這項技術(shù)比起反向傳播可以使模型更快的收斂。在比較低端的PC上幾天的計算時間可以縮短為幾個小時。

如果你正在用梯度下降訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)并卡在了像局部最優(yōu)點(diǎn)或者梯度彌散的地方，那么神經(jīng)進(jìn)化可以幫你得到更好的結(jié)果。

你不需為這項替換付出。在每個神經(jīng)網(wǎng)絡(luò)被應(yīng)用到的場所，這項技術(shù)都可以被用來優(yōu)化并訓(xùn)練它們。

“兩個腦袋比一個腦袋來的要好，不是因為有某個腦袋不容易出錯，而是因為它們不太可能犯同一種錯誤。"-C.S Lewis

6.谷歌的AI孩子-”AI創(chuàng)造AI“

調(diào)整超參數(shù)是一項每個數(shù)據(jù)科學(xué)家都深惡痛絕的繁瑣而又無聊的任務(wù)。由于神經(jīng)網(wǎng)絡(luò)實(shí)際上是一個黑盒子，我們無法明確地知道我們改變的超參數(shù)會如何影響一個網(wǎng)絡(luò)的學(xué)習(xí)。

在2018年，谷歌在自動機(jī)器學(xué)習(xí)（AutoML）的世界中作出了一項突破，制作出了一個叫做NASNet的模型。這個物品識別模型擁有82.7%的準(zhǔn)確率，比計算機(jī)視覺領(lǐng)域內(nèi)的其他任何模型都要高1.2%，同時效率還要至少高出4%。

最重要的是，它是通過使用強(qiáng)化學(xué)習(xí)的方法，在另外一個AI的幫助下發(fā)展而成的。

圖源：谷歌研究院

“神經(jīng)網(wǎng)絡(luò)設(shè)計神經(jīng)網(wǎng)絡(luò)”。。。這確實(shí)是一個驚人的想法，你不這么認(rèn)為嗎？

在這里，它的家長AI叫做Controller network（控制者網(wǎng)絡(luò)），它在數(shù)千次的迭代中逐步培養(yǎng)出其AI孩子。在每次迭代中，它計算出孩子的性能并使用這個信息來在下一次迭代中建造一個更好的模型。

這種創(chuàng)造性的思考方式推動了”學(xué)會學(xué)習(xí)“的概念（或者元學(xué)習(xí)），從而不論是從準(zhǔn)確性還是效率都可以擊敗這個星球上任何人類所設(shè)計出來的神經(jīng)網(wǎng)絡(luò)。

想象一下在計算機(jī)視覺的領(lǐng)域之外它還能做什么。難怪這個概念激起了人們對于超級過載人工智慧最深的恐懼。

7. GANs-”神經(jīng)網(wǎng)絡(luò) vs. 神經(jīng)網(wǎng)絡(luò)“

GAN是生成式對抗網(wǎng)絡(luò)的簡寫，它們可以學(xué)會模仿任意的數(shù)據(jù)分布。

這是什么意思呢？

在GANs之前，機(jī)器學(xué)習(xí)算法專注于尋找輸入和輸出之間的關(guān)聯(lián)。它們被叫做判別算法。例如，一個圖像分類器可以區(qū)分蘋果和橙子。

當(dāng)你把一張照片輸入到網(wǎng)絡(luò)中時，它或返回0（我們讓它指代蘋果）或者返回1（指橙子）。你可以認(rèn)為它在分配標(biāo)簽。它在內(nèi)部創(chuàng)建了一個模型，確定了哪些特征對應(yīng)了蘋果，哪些特征對應(yīng)了橙子，然后吐出一個帶有一定概率的標(biāo)簽。。
然而。。。盡管它們在內(nèi)部可能有辦法用某種方式表示蘋果和橙子從而對它們進(jìn)行比較，但它們沒有辦法生成出蘋果和橙子的圖片。
這里就是GANs拿手的地方。一個GAN包含了兩個網(wǎng)絡(luò)-一個生成器和一個鑒別器。

沿用之前的例子，如果我們想要生成一張?zhí)O果的照片，那么我會使用一個解卷積網(wǎng)絡(luò)來作為我的生成器以及一個卷積網(wǎng)絡(luò)來作為我的鑒別器。

這個生成器一開始只會生成一張隨機(jī)的噪聲圖像并試著讓它看起來像是一個蘋果。另一方面，鑒別器會試著鑒別出輸入的圖片是真實(shí)的還是偽造的（由生成器所生成）。

如果鑒別器可以正確地區(qū)分出圖片，那么生成器就要努力改進(jìn)自己去生成出更加真實(shí)的圖片。同時鑒別器也努力提高自己的判別能力。這意味著，不管如何，改進(jìn)都是不可避免的，問題只是它發(fā)生在鑒別器身上還是生成器身上而已。

這看起來有點(diǎn)像一種雙重反饋循環(huán)。

GANs的復(fù)雜性使得它們難以訓(xùn)練，最近在英偉達(dá)發(fā)布的一篇研究論文中他們描述了一種方法，通過漸進(jìn)地改進(jìn)生成器和鑒別器來訓(xùn)練GANs。（有趣的說法?。?。

關(guān)于GAN的機(jī)制我們說的足夠多了，那么我們該如何使用它呢？

一些酷炫的GAN的應(yīng)用：

• 使面孔變老

• 超高分辨率

• 圖像混合

• 衣服轉(zhuǎn)換

• 3D物體生成，之類的。

更多信息可以參見這篇文章。

8.遷移學(xué)習(xí)-”使用預(yù)先訓(xùn)練好的網(wǎng)絡(luò)“

從零開始訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)是需要昂貴的計算成本，有時還會變得非常混亂。但試想一下我們可以從另外一個以前在其他數(shù)據(jù)集上已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)中獲取知識，并將其重新用在我們新的目標(biāo)數(shù)據(jù)集的訓(xùn)練過程中。

這樣子，我們可以加速在新的領(lǐng)域上進(jìn)行學(xué)習(xí)的過程并且節(jié)省大量的計算能耗和資源?？梢园阉氤墒且粓銎瘘c(diǎn)比其他人要靠前的跑步比賽。

不要把你的時間浪費(fèi)在重復(fù)造輪子上
顯然，你不可以把這項技術(shù)用在兩個毫不相關(guān)的領(lǐng)域上，但在一些領(lǐng)域上-自然語言處理和計算機(jī)視覺，使用已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)是一種新的規(guī)范

Source：https://www.topbots.com/

計算機(jī)視覺領(lǐng)域中，在物品偵測，物品識別，和圖像分類任務(wù)中，人們會使用像VGG ConvNet，AlexNet，ResNet-50，InceptionV3，EfficientNet之類的已經(jīng)預(yù)訓(xùn)練好的網(wǎng)絡(luò)。特別是在任務(wù)剛開始的階段。

即使是在像神經(jīng)風(fēng)格轉(zhuǎn)移（NST）這樣的任務(wù)上，你可以使用VGG19來迅速獲取內(nèi)在表示從而節(jié)省時間。

在如情感識別和語言翻譯的NLP任務(wù)中，各類的不同詞向量嵌入方法如斯坦福的GloVe（表示詞匯的全局向量）或者谷歌的Word2Vec都是標(biāo)配。

我不想提及那些最新的語言模型（那些大家伙）如谷歌的BERT，OpenAI的GPT-2（生成式預(yù)訓(xùn)練Transformer），和全能的GPT-3。他們都是在我們這些平民難以想象的海量的信息中訓(xùn)練出來的。他們幾乎把整個網(wǎng)絡(luò)作為他們的輸入數(shù)據(jù)集并花費(fèi)了數(shù)百萬美元來進(jìn)行訓(xùn)練。

從這一點(diǎn)而言，它看起來像是未來我們使用的預(yù)訓(xùn)練網(wǎng)絡(luò)。

9.神經(jīng)形態(tài)架構(gòu) -”次世代材料“

在看了那么多軟件世界的進(jìn)展之后，我們來關(guān)注一下硬件部分。

但在那之前，先來看一下這個荒謬的對比。。。

人類的腦子里平均有860億個神經(jīng)元和大約1千萬億突觸。直觀地說，你實(shí)際上可以通過解開你的腦子來到達(dá)月球（用400000千米長的神經(jīng)纖維）。

如果你想要模擬你的腦子，你需要消耗大量的計算能源（1百億億次運(yùn)算），這是在現(xiàn)有的技術(shù)水平上無法實(shí)現(xiàn)的。

即使是最強(qiáng)大的超級計算機(jī)也無法實(shí)現(xiàn)這么大的運(yùn)算量，更別提我們的大腦僅僅需要20瓦的電力（比點(diǎn)燃一個燈泡還少）就可以做到這種程度。

為什么？因為”架構(gòu)“

圖源：https://randommathgenerator.com/

你知道嗎，今天我們用到的每一臺計算機(jī)都是基于一個有75年歷史的架構(gòu)，即馮諾依曼架構(gòu)。在這個架構(gòu)中，內(nèi)存和處理器是相互分離的，這使得我們在執(zhí)行大運(yùn)算量的任務(wù)，如大型矩陣乘法，時存在著性能瓶頸。

這個馮諾依曼瓶頸的產(chǎn)生是因為我們執(zhí)行一系列指令的時候傳入輸入和得到輸出的過程是有順序的。但在我們的腦子中，進(jìn)行記憶和處理的單元本質(zhì)上是同一個，這使得它可以用閃電般的速度處理巨量的數(shù)據(jù)同時只需要消耗極小量的能量。在這里，連接記憶和處理單元的就是記憶本身。

有一些公司例如IBM和Intel正嘗試模擬一個像我們生物的腦子一樣的架構(gòu)。它最終會催生出一種新的計算方式，神經(jīng)形態(tài)計算。

使用多塊GPU和TPU的日子就要到頭了。我真的迫不及待那一天的到來！

進(jìn)展：IBM的真北芯片和Intel的神經(jīng)形態(tài)芯片。

10.通用人工智能（AGI）-“我們的終極目標(biāo)”

當(dāng)你聽到有人嘶喊到“總有一天，AI會把我們都?xì)⒐狻?rdquo;那么通用人工智能最有可能做出這樣的事情。

為什么？

因為現(xiàn)在我們正在處理的是“弱人工智能”意思是我們現(xiàn)在的模型在它們的特定領(lǐng)域之外一無是處。但是，全球的科學(xué)家和研究人員都在致力于產(chǎn)生一種可以完成各類任務(wù)，或者能學(xué)會完成幾乎任何給定任務(wù)的人工智能。

如果他們成功了，可以預(yù)測到的是，這會導(dǎo)致智慧爆炸，遠(yuǎn)超人類的智慧并最終催生出超級智能。

當(dāng)這件事發(fā)生的時候，那個超級智能會變成一個擁有知覺，自我意識，以及更高的認(rèn)知能力的存在。

[[357175]]

源：https://www.theverge.com(實(shí)在忍不住放上這張照片）

之后會發(fā)生什么？只有天知道。

有一個專門的詞來形容這種情況。Singularity是一個假設(shè)的時間點(diǎn)，到那個時候技術(shù)發(fā)展會變得不可控且不可逆，最終對人類文明產(chǎn)生不可預(yù)見的改變。-維基百科

我們不能簡單地停止它的發(fā)展嗎？不。

人工智能就像是今天的電能一樣。我們對它擁有著重度依賴，停止它的發(fā)展就像是回到黑暗時代。此外，沒有國家會停止它的發(fā)展因為有一種共同的心態(tài)-”即使我們不發(fā)展，他們也會“-就像我們制造具有大規(guī)模殺傷力的核武器時的心態(tài)。

埃隆馬斯克的擔(dān)心并非空穴來風(fēng)。他是認(rèn)真的。

總結(jié)

我覺得已經(jīng)說出了一些制造一個完美AI的方法的要點(diǎn)。但誰在乎呢？除非我們有辦法和他們共存。

我希望在Neuralink工作的人們能夠在世界末日之前完成他們的人腦-機(jī)器接口。且埃隆馬斯克設(shè)法在不把我們的腦子暴露給新世代黑客的情況下使用它。