本文轉(zhuǎn)載自微信公眾號(hào)「 產(chǎn)品二姐」，作者產(chǎn)品二姐。轉(zhuǎn)載本文請聯(lián)系產(chǎn)品二姐公眾號(hào)。

1. 前文回顧

上一篇我們講到了AI歷史上的兩位開創(chuàng)人物：

Marvin Minsky：發(fā)明了世界上第一個(gè)強(qiáng)化學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)SNARC

Frank Rosenblatt：發(fā)明了世界上第一臺(tái)感知器（Perceptron）實(shí)現(xiàn)AI歷史上最初級(jí)的圖像識(shí)別。

Marvin 和Frank二人也是高中校友，都出自鼎鼎大名的布朗克斯科學(xué)高中（美國以盛產(chǎn)諾貝爾獎(jiǎng)著稱的頂尖高中），兩人也是學(xué)術(shù)好友。

圖片

然而，隨著時(shí)間的推移，兩人在學(xué)術(shù)道路上分道揚(yáng)鑣。實(shí)際上，在AI誕生初期，實(shí)現(xiàn)智能的方式就分成了兩派，符號(hào)主義和連接主義。

• 符號(hào)主義：可以簡單的理解為通過”程序語言（符號(hào)）”來“教“會(huì)機(jī)器變得智能，也就是說，所有機(jī)器運(yùn)行的規(guī)律都是通過程序注入規(guī)則而產(chǎn)生的智能。
• 連接主義：可以簡單的理解為模擬人腦神經(jīng)元的”連接“過程來讓機(jī)器自己”學(xué)習(xí)“，達(dá)到智能的目的，也就是上一篇里講到的以”感知器“為開始的神經(jīng)網(wǎng)絡(luò)算法。今天我們所熟知的ChatGPT ，AIGC 工具底層主要是用的連接主義算法。

圖片

2. 符號(hào)主義誕生

符號(hào)主義誕生之初最具代表性的產(chǎn)物就是John McCarthy（1971年圖靈獎(jiǎng)得主） 的LISP 語言，學(xué)習(xí)過計(jì)算機(jī)語言的朋友提起LISP，就像是拜”祖師爺“一樣，甚至在二零零幾年的時(shí)候，還有一股LISP的”文藝復(fù)興“,用一個(gè)類比來說，LISP之于計(jì)算機(jī)語言相當(dāng)于幾何學(xué)中的《幾何原本》。Python, js 這些你熟知的語言最早都可以追溯到LISP.

圖片

對象編程之父Alan Kay （2003年圖靈獎(jiǎng)得主）曾說，”他的面向?qū)ο缶幊天`感一部分來自于LISP“.（參考Alan Kay自述）。

圖片

放在今天可能我們都很難理解LISP和人工智能有啥關(guān)系？甚至有一位朋友說覺得LISP語言像一個(gè)玩具一樣。但在ACM(美國計(jì)算機(jī)協(xié)會(huì))的官網(wǎng)上，我們可以看到，60年前 John Mcarthy創(chuàng)建LISP，就是為了研究人工智能而產(chǎn)生一個(gè)重要工具。

圖片

假使John McCarthy穿越活到今天，他可能會(huì)拍著程序員的肩膀說：哥們，你現(xiàn)在做的可比我當(dāng)年的“人工智能”厲害多了。

當(dāng)然符號(hào)主義后來的發(fā)展也絕不僅僅是LISP 編程語言。廣義上講，在2010s以前，符號(hào)主義及其衍生出來的各種機(jī)器學(xué)習(xí)算法幾乎占據(jù)了AI歷史的大半江山，留給連接主義的發(fā)展空間只有”涓涓細(xì)流“。我們暫把符號(hào)主義一派擱置放在后面講，先看看連接主義是如何遭受重創(chuàng)的。

3. 連接主義遭受重創(chuàng)

本來AI 在1956年誕生后，學(xué)術(shù)界分成兩派也無可厚非，并且兩派都拿到了美國軍方的”贊助“經(jīng)費(fèi)，可以說在1960年代，兩派的實(shí)力懸殊并不大。

[批注]當(dāng)時(shí)《紐約時(shí)報(bào)》對上一篇提到的Frank Rosenblatt的”馬克一號(hào)感知器“的報(bào)道標(biāo)題是《新海軍設(shè)備邊做邊學(xué)：心理學(xué)家展示旨在閱讀和變得更聰明的計(jì)算機(jī)胚胎》(NEW NAVY DEVICE LEARNS BY DOING: Psychologist Shows Embryo of Computer Designed to Read and Grow Wiser)，可見”馬克一號(hào)感知器“是為軍方研制的。而在Marvin Minsky晚年接受采訪時(shí)也提及1970年以前美國國防高級(jí)研究計(jì)劃局DARPA（Defense Advanced Research Projects Agency）對科研的投資力度很大，這一時(shí)期被稱為“AI Golden Time”。

然而隨著時(shí)間的推移，Marvin所在的符號(hào)主義陣營越來越強(qiáng)大，其中必須要提的三位大人物是：

• John McCarthy：他和Marvin是普林斯頓博士期間的同學(xué)，曾在麻省理工任教和Marvin是同事。McCarthy就是LISP 語言的發(fā)明者，后來在1971獲得圖靈獎(jiǎng)。
• Allen Newell：創(chuàng)辦了當(dāng)今世界計(jì)算機(jī)排名前三的CMU(卡耐基梅隆大學(xué)），后來在1975獲得圖靈獎(jiǎng)。
• Herbert Simon：和Allen Newell一起創(chuàng)辦CMU(卡耐基梅隆大學(xué)），后來在1975與Allen Newell同獲圖靈獎(jiǎng)，同時(shí)還是1978的諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)得主。

這三位加上Marvin Minsky可以說是當(dāng)時(shí)AI界的四大領(lǐng)軍人物，地位不亞于今天的深度學(xué)習(xí)三巨頭（辛頓，本杰明，楊立昆）。而連接主義的Frank Rosenblatt這一邊的研究主要在康奈爾大學(xué)，顯得形單影只。

圖片

這種實(shí)力懸殊在1969年以Marvin Minsky 的一本書《Perceptrons》（感知器）達(dá)到高潮，這本書雖然以Frank發(fā)明的“Perceptrons”命名，卻并非為連接主義發(fā)聲，書中Marvin Minsky 明確的提出連接主義的缺陷，這意思仿佛是說：“不是我不懂，而是我懂所以我覺得不行”。而同一年Marvin Minsky 獲得了計(jì)算機(jī)界的最高獎(jiǎng)項(xiàng)圖靈獎(jiǎng)。

圖片

可以想象，當(dāng)時(shí)還僅僅在學(xué)術(shù)界處于“孕育”階段，尚未走向市場的人工智能，有幾個(gè)搞科研的人能石頭碰雞蛋去與圖靈獎(jiǎng)得主斗爭，估計(jì)發(fā)一篇連接主義的論文，審稿人都會(huì)直接拒絕。

禍不單行，1970年，“連接主義之父”Frank在一次事故中意外去世，連接主義僅剩的“辯手”也是巨星隕落，預(yù)示著連接主義即將到來的寒冬。

圖片

4. 連接主義的缺陷？

先拋開學(xué)術(shù)陣營，我們來看看Marvin Minsky反對連接主義的理由。在Marvin Minsky的《Perceptrons》，提到連接主義連一個(gè)最簡單異或問題都無法解決，接下來就以異或問題為例看看Marvin的觀點(diǎn)。

4.1 什么是異或

異或是一種邏輯計(jì)算，用數(shù)學(xué)符號(hào)表示是：A (XOR) B。舉個(gè)例子，在判卷時(shí)，機(jī)器會(huì)拿著標(biāo)準(zhǔn)答案與考生答案做對比，二者不一致則判錯(cuò)，二者一致則判對。為了簡單，我們拿判斷題（答案為Y或者N）為例，如下圖所示：

圖片

我們把這個(gè)邏輯來建模，輸入有兩個(gè)值：

• X1 是標(biāo)準(zhǔn)答案
• X2是考生答案

輸出有一個(gè)值：

• 當(dāng)X1和X2相同，則輸出正確，用0表示
• 當(dāng)X1和X2不同，則輸出錯(cuò)誤，用1表示

我們將Y用1表示，N用0表示，那么對應(yīng)的輸入輸出就有以下四種可能性：

這是一個(gè)非常簡單的案例，但是當(dāng)我們試著用連接主義的方法來解的時(shí)候，似乎不是那么容易。

4.2 用連接主義能解決異或問題嗎？

按照上一篇講的神經(jīng)元模型：假設(shè)有兩個(gè)輸入，

• 當(dāng)時(shí)，輸出為1；
• 當(dāng) 時(shí)，輸出為0 。

我們把放在坐標(biāo)系里，連接主義的觀點(diǎn)是，神經(jīng)元可以學(xué)習(xí)到權(quán)重參數(shù)，使我們可以劃出一條線，能將進(jìn)行分類，比如下圖中：

• 位于位于直線上方的區(qū)域，神經(jīng)元輸出為1;
• 位于位于直線下方的區(qū)域，神經(jīng)元輸出為0;

圖片

但是，當(dāng)我們像剛才一樣把異或運(yùn)算的兩個(gè)輸入值畫在的坐標(biāo)系里，我們期待一條直線，能把異或的四對輸入值（0,0), (0,1),(1,0),(1,1)分成兩類，其中

• (0,0)和(1,1)為一類，他們對應(yīng)神經(jīng)元的輸出為0，如下圖紅色點(diǎn)所示。
• (0,1)和(1,0)為一類，他們對應(yīng)神經(jīng)元的輸出為1，如下圖綠色點(diǎn)所示。

請問你是否可以找到一條線將紅綠點(diǎn)分開？答案是不能。

圖片

這樣看起來，似乎感知器真的不能很簡單的解決這樣的異或問題。這也是Marvin 在挑戰(zhàn)連接主義時(shí)經(jīng)常舉的例子。難道模擬人類神經(jīng)網(wǎng)絡(luò)的連接主義真的如此不堪一擊嗎？