關(guān)于感知器的故事:機(jī)器學(xué)習(xí)是如何發(fā)展到如今這一程度的呢?
人工智能如今已成為大街小巷的熱議話題。企業(yè)為了吸引客戶和目標(biāo)用戶,在生產(chǎn)產(chǎn)品、提供方案時(shí)總會使用機(jī)器學(xué)習(xí)(ML)、深度學(xué)習(xí)(DL)等花哨的詞匯。但實(shí)際上,這些詞匯絕不僅是“噱頭”而已。
在過去數(shù)十年里,能夠解決實(shí)際問題的人工智能應(yīng)用層出不窮,已經(jīng)成為一種全球性的現(xiàn)象。像我這樣努力鉆研機(jī)器學(xué)習(xí)的人成百上千。Andrew Ng是我們的導(dǎo)師,他說道:“一百年前,電的發(fā)明改變了一切,而如今,我很難想象還有哪個(gè)行業(yè)在未來幾年內(nèi)不會被人工智能改變。”
科技大廠了解科技發(fā)展的主流趨勢,且無法承擔(dān)技術(shù)落后的風(fēng)險(xiǎn),所以他們都已適應(yīng)了此次計(jì)算機(jī)革命。機(jī)器學(xué)習(xí)發(fā)展前景巨大,若你是一名開發(fā)人員,想要提高自己的技術(shù)水平,那建議你快開始學(xué)習(xí)它吧。
人工智能已經(jīng)深刻改變了所有主要行業(yè)。人工智能與機(jī)器學(xué)習(xí)在醫(yī)療、神經(jīng)科學(xué)、農(nóng)業(yè)、安全、監(jiān)控等領(lǐng)域的跨領(lǐng)域應(yīng)用數(shù)不勝數(shù),已經(jīng)成為我們生活中不可或缺的一部分。但這一切是如何開始的呢?還要從幾十年前感知器剛被發(fā)明出來說起。
感知器的故事始于65年前,在開始講述這一故事之前,先簡單了解下“感知器”的定義:感知器既是一種簡易的生物神經(jīng)元人工模型,也是一種用于監(jiān)督學(xué)習(xí)的單層神經(jīng)網(wǎng)絡(luò)算法。它由輸入值、權(quán)重和偏差以及一個(gè)激活函數(shù)組成。
單個(gè)感知器裝置
不過本文中我們不討論技術(shù)細(xì)節(jié),開始講故事吧。
感知器的興起
1957年1月,弗蘭克·羅森布拉特(Frank Rosenblatt)在位于紐約布法羅的康奈爾航空實(shí)驗(yàn)室公司發(fā)明了感知器,它是神經(jīng)網(wǎng)絡(luò)的基本構(gòu)件。這項(xiàng)發(fā)明是論文《感知器——一種感知和識別自動機(jī)》的研究結(jié)果。
韋氏詞典將自動機(jī)定義為:一種用來自動執(zhí)行預(yù)定的操作序列或響應(yīng)編碼指令的機(jī)器或控制機(jī)器。
這項(xiàng)研究歷時(shí)五年,旨在設(shè)計(jì)一個(gè)能夠?qū)W習(xí)復(fù)雜模式、模式感知和泛化的電子大腦模型。其背后的直覺在于建造一個(gè)具有類似人類功能的設(shè)備,如感知、形成概念、歸納經(jīng)驗(yàn)的能力、識別復(fù)雜的信息模式以及辨別不同大小、形狀和方向的相似物體。
神經(jīng)元細(xì)胞——由brgfx工具創(chuàng)建的背景矢量圖 | 圖源:freepik素材庫
然而,要執(zhí)行上述操作,傳統(tǒng)的計(jì)算機(jī)系統(tǒng)需要存儲數(shù)千個(gè)甚至數(shù)百萬個(gè)模式,然后在需要時(shí),再從這些模式中搜索識別出一個(gè)未知模式,這一步計(jì)算量非常之大,而且不是一個(gè)經(jīng)濟(jì)的識別模式或?qū)ο蟮姆椒ā?/p>
為了解決該問題,F(xiàn)rank Rosenblatt提出了一個(gè)系統(tǒng),使其能夠根據(jù)生物大腦的原理工作,用概率方法代替確定性方法來識別模式之間的相似性。他的感知器模型由三大系統(tǒng)組成:
- 感官系統(tǒng)
- 交互系統(tǒng)
- 反映系統(tǒng)
每個(gè)系統(tǒng)都將進(jìn)一步包含相互連接的單元,可以根據(jù)正在識別的模式打開或關(guān)閉這些連接。感官系統(tǒng)會接受輸入模式。交互系統(tǒng)會打開或關(guān)閉特定連接,反映系統(tǒng)會顯示輸出。
賦予感知器模型生命的定制硬件是Mark 1感知器,它主要是為圖像識別而設(shè)計(jì)的,外表是一個(gè)黑色盒子,很像現(xiàn)在的神經(jīng)網(wǎng)絡(luò),有輸入層、隱藏層和輸出層。
Mark I 感知器——康奈爾大學(xué)通訊社記錄,#4–3–15,康奈爾大學(xué)圖書館珍藏和手稿收藏處
反向傳播的出現(xiàn)
把時(shí)間往前倒推幾十年,1986年,Geoffrey Hinton提出了一項(xiàng)成果,這項(xiàng)成果推動了感知器的后續(xù)發(fā)展。
當(dāng)時(shí)他提出了一種名為反向傳播的新型學(xué)習(xí)程序,后來成為現(xiàn)代神經(jīng)網(wǎng)絡(luò)模型的核心。這種技術(shù)通過調(diào)整神經(jīng)網(wǎng)絡(luò)模型的權(quán)值來減少實(shí)際值和期望值之間的差異。它能使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)或提取特征,概括輸入的模式或序列,從而對未見的數(shù)據(jù)表示做出相當(dāng)準(zhǔn)確的預(yù)測。
多層神經(jīng)網(wǎng)絡(luò)模型中的逆向傳播可視化圖片
從那時(shí)起,研究開始取得了很大進(jìn)展?,F(xiàn)在,我們有VGGNet、ResNet、Inception等模型,可以快速準(zhǔn)確地對物體進(jìn)行分類。而所有這些都是基于我們試圖模仿人類大腦的事實(shí)。
但問題是,我們是否已經(jīng)了解大腦識別人們在日常生活中所見物體的工作原理?隨著時(shí)間的推移,神經(jīng)科學(xué)研究人員正在假設(shè)大腦理論,幫助我們了解大腦的學(xué)習(xí)、感知和記憶模式。
最新的機(jī)器學(xué)習(xí)
杰夫·霍金斯提出了“千腦智能理論”,大致內(nèi)容是解釋人類大腦中的“新皮層”是如何負(fù)責(zé)對某一對象做出各種模型,然后分層次地進(jìn)行投票,以達(dá)成共識,最后形成觸覺、嗅覺和視覺等感覺。
該理論認(rèn)為,當(dāng)我們在現(xiàn)實(shí)生活中看到某個(gè)物體時(shí),大腦新皮層會激活一組特定的神經(jīng)元。如果現(xiàn)在看到一組有著不同大小和方向的相似物體,那么新皮層也會激活一組類似的神經(jīng)元,這使我們能夠概括出日常生活中看到的物體。雖然沒有那么簡單,但你可以形成一個(gè)大致的概念。
這與傳統(tǒng)的機(jī)器學(xué)習(xí)或尖端的深度學(xué)習(xí)不同,后者需要大量的輸入來學(xué)習(xí)模式,然后進(jìn)行預(yù)測。
可視化新皮層中神經(jīng)元的層次結(jié)構(gòu)(圖源:Pixabay,靈感來源: Numenta HTM)
杰夫·霍金斯創(chuàng)立了Numenta公司,正致力于將《千腦智能理論》等頂尖的神經(jīng)科學(xué)理論與人工智能相結(jié)合,從而創(chuàng)造出真正的智能機(jī)器,其工作原理與生物大腦相同。盡管前路漫漫,但我們堅(jiān)信前進(jìn)方向是正確的。因?yàn)槲覀円呀?jīng)取得了重大進(jìn)展,而感知器是這一切的關(guān)鍵。
故事仍在繼續(xù)...
作為一個(gè)有志于從事數(shù)據(jù)科學(xué)研究的人,我要感謝計(jì)算機(jī)科學(xué)領(lǐng)域的早期思想家。感謝1642年布萊斯·帕斯卡( Blaise Pascal)發(fā)明第一臺機(jī)械計(jì)算器,感謝1842年艾達(dá)·洛芙萊斯(Ada Lovelace)第一次描述解決數(shù)學(xué)問題的運(yùn)算順序,感謝1950年艾倫·圖靈(Alan Turing)創(chuàng)造了舉世聞名的圖靈測試,感謝歷史上所有做出貢獻(xiàn)的人......
隨著如今人工智能的不斷進(jìn)步,我們往往會忘記曾經(jīng)遭遇的挫折,但正是這些挫折成就了今天的杰出工作。對研究人員來說,具有研究并主動推理直覺的能力是最大的財(cái)富。所以,就讓直覺帶你領(lǐng)略科學(xué)的偉大,成為此次技術(shù)革命的參與者吧。
本文轉(zhuǎn)載自微信公眾號「讀芯術(shù)」,可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系讀芯術(shù)公眾號。