TensorFlow：谷歌人工智能的2.0

2007年12月，谷歌推出移動操作系統(tǒng)Android，此時距iPhone第一代發(fā)售僅僅過了6個月。與當(dāng)時市面上的移動操作系統(tǒng)不同的是，Android是一款開源的操作系統(tǒng)，所有手機(jī)廠商、開發(fā)者都可以在開源協(xié)議基礎(chǔ)上進(jìn)行自定制開發(fā)。8年之后，搭載Android的智能手機(jī)已經(jīng)占據(jù)了智能手機(jī)市場的八成份額。近日，谷歌再次發(fā)布一款開源產(chǎn)品TensorFlow，這次瞄準(zhǔn)的是人工智能。

谷歌宣布將內(nèi)部一直使用的機(jī)器學(xué)習(xí)系統(tǒng)TensorFlow開源，將此系統(tǒng)的參數(shù)公布給業(yè)界工程師、學(xué)者和擁有大量編程能力的技術(shù)人員。開源的TensorFlow可以讓深度學(xué)習(xí)從業(yè)者甚至大學(xué)生們都可以與世界上最領(lǐng)先的人工智能技術(shù)平臺一起工作。谷歌此舉或?qū)⒌於ㄗ约涸谌斯ぶ悄茴I(lǐng)域的權(quán)威地位。

TensorFlow是谷歌的第二代人工智能系統(tǒng)，該系統(tǒng)將機(jī)器學(xué)習(xí)算法變成了符號表達(dá)的各類圖表，從而有效縮短了重新寫代碼的時間。TensorFlow的命名起源于該系統(tǒng)的運作原理，即復(fù)雜的數(shù)據(jù)結(jié)構(gòu)（Tensor）將會被傳輸至人工智能神經(jīng)網(wǎng)中進(jìn)行分析和處理，這一 過程是機(jī)器深度學(xué)習(xí)的核心部分。

長期以來，谷歌一直非常積極地對機(jī)器學(xué)習(xí)進(jìn)行研發(fā)。谷歌在2011年推出了第一代機(jī)器學(xué)習(xí)系統(tǒng)“DistBelief”，就是這個大名鼎鼎的系統(tǒng)自動從大量Youtube圖片中識別出了“貓”；并讓谷歌的語音識別準(zhǔn)確度提升了25％；在Google Photos中實現(xiàn)了圖片搜索。如今的TensorFlow系統(tǒng)是在第一代產(chǎn)品的基礎(chǔ)上發(fā)展起來的，并對早期系統(tǒng)的不足進(jìn)行了改進(jìn)。谷歌在官方博客上表 示，比起舊系統(tǒng)，TensorFlow更快、更靈活以及更聰明，在建立和訓(xùn)練機(jī)器學(xué)習(xí)模型方面比第一代人工智能系統(tǒng)快五倍。谷歌CEO Sundar Pichai在博客中寫到，TensorFlow更快的速度使我們能夠更快的提升產(chǎn)品表現(xiàn)。

TensorFlow與舊系統(tǒng)的區(qū)別在于，TensorFlow沒有被束縛在谷歌自身的IT架構(gòu)內(nèi)，能夠被任何有相關(guān)背景的人基于合適的IT資源進(jìn)行配置。

外界對TensorFlow的評價

對于TensorFlow，第一個問題就是為何要開源。谷歌官方的解釋是，將技術(shù)免費開放是希望可以加速人工智能領(lǐng)域的發(fā)展。所有人都可以幫助Google改進(jìn)其技術(shù)，并將成果反饋回來。正如Google深度學(xué)習(xí)項目的主要推動者Jeff Dean所說：“我們希望的是，整個研究、開發(fā)者社區(qū)將TensorFlow作為一種很好的手段來實現(xiàn)各種各樣的機(jī)器學(xué)習(xí)算法，同時也為其在各種場景下的應(yīng)用帶來改進(jìn)。”如果此次開源能夠使更多的數(shù)據(jù)科學(xué)家開始使用谷歌的系統(tǒng)來從事機(jī)器學(xué)習(xí)方面的研究，那么這將有利于谷歌對日益發(fā)展的機(jī)器學(xué)習(xí)行業(yè)擁有更多的主導(dǎo)權(quán)。

Jeff Dean的觀點也得到了創(chuàng)業(yè)公司的積極響應(yīng)，深度學(xué)習(xí)創(chuàng)業(yè)公司Skymind的CEO克里斯·尼古森說：“這是很有趣的一件事，谷歌（在這一領(lǐng)域）領(lǐng)先整個世界五到七年。如果他們將軟件開源，那將改進(jìn)每一項機(jī)器學(xué)習(xí)研究。”

當(dāng)然，谷歌也并非完全毫無保留。目前開源的是其引擎中較為頂層的算法，也沒有開源其硬件基礎(chǔ)設(shè)施系統(tǒng)。而且，谷歌也不是第一個將深度學(xué)習(xí)系統(tǒng)開源的科技巨頭。

Yann LeCun在Facebook上轉(zhuǎn)了一篇紐約時報Bits報道TensorFlow的文章，并評論說：“如果放在幾年前，誰會想到一篇關(guān)于深度學(xué)習(xí)開源庫的文章會發(fā)布在紐約時報科技頻道（Bits）上？”補充一下 (以便大家不要誤解我的含義)： 我認(rèn)為TensorFlow 非?？?，我對谷歌的朋友們將其開源表深表贊同。

其實，Yann LeCun是在非常狡猾的提醒用戶，F(xiàn)acebook早在今年一月份就公布了一個機(jī)器學(xué)習(xí)的開源項目，他們將一些基于機(jī)器神經(jīng)網(wǎng)絡(luò)的產(chǎn)品免費放在了 Torch（一個關(guān)注深度學(xué)習(xí)的開源軟件項目）上，可以用來處理數(shù)據(jù)，分析信息的共同特征。Facebook人工智能實驗室的研發(fā)工程師Soumith Chintala對此表示，將人工智能和神經(jīng)網(wǎng)絡(luò)公開是十分有用的，他也是Torch項目的創(chuàng)始人之一。他說，除了大公司之外，Torch也會用于創(chuàng)業(yè)公司和大學(xué)實驗室。

除了Torch之外，深度學(xué)習(xí)方面的開源軟件框架還包括Theano和Caffe。斯坦福大學(xué)的計算機(jī)科學(xué)家Christopher Manning在試用過TensorFlow之后表示令其印象深刻，“它在深度學(xué)習(xí)工具中表現(xiàn)的更好更快。”他認(rèn)為TensorFlow將廣泛用于公司的研究人員和高校的學(xué)生中間。對此，斯坦福大學(xué)計算機(jī)教授Christopher Manning深有感觸，過去三個月里，他的學(xué)生們已經(jīng)和TensorFlow并肩作戰(zhàn)，而在試用幾周后，Manning決定將其納入到自己的課程里。

艾倫人工智能研究所執(zhí)行董事Oren Etzioni對谷歌的這一行為評價道，這是谷歌整個平臺戰(zhàn)略的一部分，來吸引開發(fā)者的機(jī)器學(xué)習(xí)人才。但比起提供云服務(wù)的IBM、微軟和亞馬遜，谷歌確實在做一些更加開放的工作。MIT斯隆管理學(xué)院的教授Michael A. Cusumano則認(rèn)為，即便TensorFlow是開源，但如果它能獲得成功，將毫無疑問成為谷歌的賺錢機(jī)器。

對于TensorFlow將來發(fā)展遇到的問題，計算機(jī)視覺開源項目主席、計算機(jī)科學(xué)家 Gary Bradski說，決定這個平臺成功與否的關(guān)鍵在于，谷歌如何處理代碼升級的控制權(quán)問題，是這個開放社區(qū)有發(fā)言權(quán)，還是由谷歌控制批準(zhǔn)官方版本。

TensorFlow的源頭：神秘的谷歌人工智能實驗室

不管第一代的DistBelief，還是剛發(fā)布的TensorFlow，都是來源于谷歌人工智能實驗室。從某種意義上說，谷歌正在從一家搜索公司轉(zhuǎn)變?yōu)橐患覚C(jī)器學(xué)習(xí)公司。而在這家公司內(nèi)部神秘的人工智能實驗室里，我們也看到谷歌統(tǒng)治人工智能的野心。

接近谷歌內(nèi)部的認(rèn)識透露，谷歌內(nèi)部并不喜歡“Artificial intelligence”這個詞，他們認(rèn)為有太多貶義的成分，他們更熱衷于創(chuàng)造一種智能，也就是機(jī)器智能。

很多使用谷歌服務(wù)的人已經(jīng)能感覺到這種機(jī)器智能，比如Android手機(jī)上的Google Now，就是一個貼心的虛擬助理產(chǎn)品；比如谷歌相冊，能夠自動識別、自動分類；比如使用了TensorFlow谷歌郵箱的自動回復(fù)，能夠基于收到郵件的關(guān)鍵詞自動回復(fù)……這與谷歌CEO Sundar Pichai上月財報電話會議中的表態(tài)一致：

那么，到底谷歌內(nèi)部誰在負(fù)責(zé)人工智能研發(fā)？這個問題幾乎無法回答，谷歌工程副總裁 John Giannandrea認(rèn)為，谷歌采用的是“嵌入式模式”，換句話說，每個團(tuán)隊都有人員研究人工智能。

[[155832]]

過去幾年，谷歌一直專注人工智能研發(fā)，從某種意義上說，TensorFlow就是這幾年努力的結(jié)晶。 TensorFlow的負(fù)責(zé)人之一Jeff Dean對于TensorFlow的在更大范圍內(nèi)的普及持審慎態(tài)度。他表示，谷歌只是負(fù)責(zé)提供了一個工具，還需要開發(fā)者能夠快速開發(fā)、部署相關(guān)產(chǎn)品。 Dean說：“我們的出發(fā)點是加速機(jī)器學(xué)習(xí)的研究和部署。”

10月初，Jeff Dean在BayLearn15的演講中首次公布了Google TensorFlow，并表現(xiàn)越來越來越多的谷歌開始使用這個系統(tǒng)。

盡管谷歌公司一向以開放文化著稱，但當(dāng)記者進(jìn)入谷歌人工智能實驗室時，還是感到了某種保密的空氣。一位谷歌工程師看到記者并沒有攜帶員工工牌，走過來詢問記者的身份。

#p#

谷歌所謂的“嵌入式模式”的人工智能研究對記者而言，就是需要奔波于各個辦公樓之間。谷歌的員工們一般騎自行車穿梭于不同辦公區(qū)，不同的辦公區(qū)有不同的產(chǎn)品團(tuán)隊，嵌入式的人工智能團(tuán)隊也和記者一樣，不斷切換自己的工作地區(qū)和工作內(nèi)容。

[[155833]]

從公司架構(gòu)上，谷歌的確有一個團(tuán)隊在解決機(jī)器智能的通用型問題，并將其工作反饋給不同的產(chǎn)品組，比如相冊、語音搜索和搜索等等。這個團(tuán)隊還會挖掘一些還沒有產(chǎn)品原型的問題，Giannandrea列舉了谷歌對于手寫設(shè)別的關(guān)注：“我們特別想理解人類手寫的方式，會不斷在這個領(lǐng)域加大投入，即便目前還沒有產(chǎn)品出來。”事實上，手寫識別已經(jīng)部分應(yīng)用到谷歌筆記類應(yīng)用Keep上面了，或許下一步就可以自動識別了。

這個通用型的團(tuán)隊被分成不同的小組，有的專注于如何教會計算機(jī)識別，有的則研究計算機(jī)理解語言的方法，也有的在探索提升語音識別的方式。Giannandrea告訴記者：“沒有哪家公司比谷歌更熱衷于語音識別、翻譯和語言理解，谷歌會持續(xù)投入到這些領(lǐng)域。”

目前約有1000人的團(tuán)隊在進(jìn)行人工智能相關(guān)領(lǐng)域研究，既包括基礎(chǔ)理論研究者也包括實施團(tuán)隊成員。谷歌在完成重組之后，其母公司Alphabet并不會干涉谷歌的人工智能研究，而且也不影響與Alphabet其它子公司，包括生命科學(xué)集團(tuán)、谷歌X實驗室的協(xié)作。

谷歌近幾年來不斷優(yōu)化語音搜索，無論是Android設(shè)備、iOS的App還是桌面瀏覽器Chrome上，搜索欄上的語音搜索標(biāo)記都格外醒目。很多人都將語音搜索作為對抗蘋果Siri的武器，但在谷歌眼里，語音搜索成為谷歌海量數(shù)據(jù)的第二大來源，而在語音識別團(tuán)隊的努力 下，這個產(chǎn)品也越來越受歡迎。

盡管沒有確切數(shù)字，但移動端的搜索已經(jīng)比桌面搜索請求更多，移動語音搜索也在去年有了大幅增長。僅以美國地區(qū)來說，約有50%的美國移動終端用戶知道可以使用谷歌語音搜索，約有三分之一的用戶的確在使用了。

Françoise Beaufays是語音團(tuán)隊的幕后功臣之一，他表示能有如此之高的普及是因為產(chǎn)品的確越來越好。“當(dāng)我們剛開始做語音識別時，用戶對我們沒有多大信心。我 們能感覺到，盡管用戶也使用我們的產(chǎn)品，但毫無疑問我們的產(chǎn)品還不夠好。而如今，越來越多的人可以自然地在自己辦公室使用我們的產(chǎn)品。”

在Françoise Beaufays的帶領(lǐng)下，谷歌語音團(tuán)隊采用新的神經(jīng)網(wǎng)絡(luò)代替之前傳統(tǒng)的語音識別體系。Beaufays介紹道，要讓機(jī)器懂得語音，需要讓機(jī)器首先學(xué)會單詞和短語是如何表述的，這意味著要大量語音數(shù)據(jù)。然后再將這些數(shù)據(jù)通過算法，形成一個語音圖譜，這個圖譜里包括各個單詞、短語是怎么表達(dá)的，換句話說，要有各種口音的語音數(shù)據(jù)才能讓這個圖譜更準(zhǔn)確。

谷歌將大量用戶語音搜索的數(shù)據(jù)作為訓(xùn)練機(jī)器的“教材”，當(dāng)用戶用語音搜索一句話后，這段語音會上傳到谷歌服務(wù)器，而訓(xùn)練的第一步則是抹去一些重要信息，比如時間點、地理位置信息、用戶個人資料等等，只剩下最原始的語音，有時為了讓機(jī)器更聰明，研究者們還會通過軟件模擬更多人的語調(diào)讓機(jī)器識別。

這種算法極大地提升了谷歌語音搜索的準(zhǔn)確性，兩年前，語音搜索的錯誤率高達(dá)25%，如今錯誤率只有8%。

當(dāng)谷歌相冊問世時，很多人稱贊這款產(chǎn)品的智能程度，但也有不少人擔(dān)憂其對個人隱私的擔(dān)憂。谷歌工程師Drago Anguelov表示：沒有人會看到用戶的圖片，機(jī)器也不會看到。“我們在公開數(shù)據(jù)中訓(xùn)練機(jī)器，這些數(shù)據(jù)任何人都可以拿來使用。但這些數(shù)據(jù)太標(biāo)準(zhǔn)，和人們拍出的真正照片差別巨大。”

谷歌對圖像的訓(xùn)練體現(xiàn)在一個名叫Deep Dream的產(chǎn)品中，它采用了包括10—30層人工神經(jīng)元，每一層會識別不同抽象程度的圖像，通過提取上一層圖像的特征進(jìn)行進(jìn)一步處理，圖片被層層解讀，最后得到重塑的新圖片，比如讓機(jī)器識別一顆樹：

而機(jī)器所看到的卻是這樣子的：

這些看似沒有價值的圖片實際上也是機(jī)器學(xué)習(xí)圖片后的反饋，利用這種反饋再進(jìn)行訓(xùn)練，會讓機(jī)器變得更聰明。

這也是Smart Reply的研發(fā)模式。

上周谷歌發(fā)布了郵箱工具Inbox的智能回復(fù)功能Smart Reply，同樣基于TensorFlow。Gmail產(chǎn)品總監(jiān)Alex Gawley說：“我們看到了我們團(tuán)隊在神經(jīng)網(wǎng)絡(luò)建設(shè)方面的巨大能量，這將可以幫助我們更好地理解和組織（語言），比如回復(fù)郵件。”

Inbox團(tuán)隊首先在內(nèi)部上線了該功能，不斷通過海量數(shù)據(jù)“喂養(yǎng)”機(jī)器，當(dāng)機(jī)器回復(fù)時，告訴機(jī)器哪些是正確的，哪些是錯誤的。這也是機(jī)器學(xué)習(xí)的一般方式。在整個團(tuán)隊的訓(xùn)練、反饋、再訓(xùn)練再反饋之后，整個產(chǎn)品才上線。

這種內(nèi)部的測試能夠讓研究者了解當(dāng)海量數(shù)據(jù)進(jìn)入神經(jīng)網(wǎng)絡(luò)之后可能出現(xiàn)bug，比如，一開始，Smart Reply會回復(fù)很多“I love you”，但由于只局限在私人郵件數(shù)據(jù)里，“I love you”是一個常用的短語，因此機(jī)器誤以為這是一個很重要的詞匯。通過大規(guī)模的數(shù)據(jù)訓(xùn)練，機(jī)器能夠進(jìn)一步理解不同性質(zhì)郵件中的重要詞匯。

而谷歌機(jī)器智能的集大成者毫無疑問是Google Now，“讓正確的信息出現(xiàn)在正確的場合”是Google Now團(tuán)隊的目標(biāo)和方向。作為Google Now的老大，Aparna Chennapragada表示：這款產(chǎn)品就是讓人類的生活變得更加簡單，五年前，Aparna Chennapragada希望通過語音識別來實現(xiàn)，但隨后發(fā)現(xiàn)，這并非一種好的方式。

Google Now要做的就是利用三種不同的數(shù)據(jù)建構(gòu)一個數(shù)字助理，谷歌將手機(jī)看作注意力工具，而一個合適的助理型服務(wù)不應(yīng)該讓用戶感到信息超載。

Aparna Chennapragada表示：如果你去查看人們使用智能手機(jī)的方式，你會發(fā)現(xiàn)用戶往往是在一些碎片化時間使用，你真正要找的信息真的很少。我們要思考如何代表你去挖掘到這些有用的信息。這就是谷歌對于搭載機(jī)器智能的手機(jī)的終極定位：一個真正的個人數(shù)字助理，擁有超強(qiáng)的預(yù)測能力和海量的知識，可以成為你大腦的數(shù)字化延伸。

Google Now得益于谷歌之前在知識圖譜技術(shù)方面的積累。如果你在谷歌搜索框里搜索“中國的首都是哪里？”，你會直接得到北京這個答案，而不是一堆包含北京的鏈 接。2012年推出的知識圖譜也是谷歌人工智能第一次布局到主要產(chǎn)品中，如今，每天大約有15%的搜索請求會由這些技術(shù)應(yīng)對。前不久，谷歌透露了基于人工 智能模式的搜索技術(shù)RankBrain。

當(dāng)然，谷歌人工智能實驗室還有另一個重磅武器——Geoffrey Hinton，他可謂是將深度學(xué)習(xí)帶入谷歌的第一人。Hiton也許是全世界研究神經(jīng)網(wǎng)絡(luò)系統(tǒng)最早的專家，在1980年代中期，他就是人工智能技術(shù)的先驅(qū)（他提到在16歲時就開始思考神經(jīng)網(wǎng)絡(luò)）。

早在 80 年代初期，當(dāng)Hinton和他的同事們剛開始相關(guān)研究時，那時的電腦還不夠快，不足以處理有關(guān)神經(jīng)網(wǎng)絡(luò)的這些龐大的數(shù)據(jù)，他們?nèi)〉玫某删褪怯邢薜?。而?dāng)時 AI普遍的研究方向也與他們相反，都在試圖尋找捷徑，直接模擬出行為，而不是試圖通過模仿大腦的運作來實現(xiàn)。大約十年前，在多倫多大學(xué)Hinton的實驗室，他和其他研究者取得了一項突破性進(jìn)展，突然使神經(jīng)網(wǎng)絡(luò)成為人工智能領(lǐng)域最熱門的話題，這些研究者精通建立多層模擬神經(jīng)元結(jié)構(gòu)以使整個系統(tǒng)能夠被訓(xùn)練， 或者進(jìn)行自我訓(xùn)練，然后來預(yù)測隨機(jī)輸入值的相干性。

2007年，Hinton在山景城進(jìn)行了關(guān)于深度學(xué)習(xí)的谷歌技術(shù)演講，極客們踴躍出席，這一演講在YouTube上也大受歡迎。后來，Hinton的學(xué)生去了IBM、微軟，當(dāng)然還有谷歌。所有人都能自由使用Hinton實驗室的成果用以完善各自系統(tǒng)。Hinton表示，“有趣的是，微軟研究院和IBM先于谷歌得到這項（深度學(xué)習(xí)）技術(shù)，但是在將技術(shù)轉(zhuǎn)變成產(chǎn)品方面谷歌卻比任何人都迅速。”

這對谷歌搜索意義重大，利用深度學(xué)習(xí)理解真實世界，在為用戶提供準(zhǔn)確答案和信息方面向前邁出一大步。不管從內(nèi)部的產(chǎn)品邏輯，還是剛剛開源的TensorFlow，谷歌的人工智能一直秉承著“整合全球信息，使人人皆可訪問并從中受益”的使命，接下來，谷歌在人工智能方面還會有哪些驚喜帶給我們，不妨拭目以待！