前段時間，人工智能 AI 的快速發(fā)展掀起了輿論熱潮，人們紛紛擔憂，在不遠的將來，自己將會把飯碗親手送給機器人。

[[235742]]

而如今，不但金融業(yè)、客服業(yè)、手工制造業(yè)等行業(yè)的飯碗搖搖欲墜，就連算命先生看到 AI 也要抖一抖了！

中新網(wǎng) 6 月 22 日電，據(jù)美國僑報網(wǎng)報道，日前，谷歌新出爐的一項研究報告稱，該公司已開發(fā)出一種新人工智能(AI)算法，可預測人的死亡時間，且準確率高達 95%。最近，谷歌的這項研究發(fā)表在了《自然》雜志上。

這項研究自 5 月開始，由谷歌、斯坦福大學、芝加哥大學和加州大學舊金山分校共同發(fā)起，最終得到了現(xiàn)在這個計算病患死亡幾率的人工智能模型。

據(jù)稱，他們使用的數(shù)據(jù)包括了 216,221 次住院治療，涉及 114,003 名個人患者，搜集到了超過 466 億條數(shù)據(jù)。

谷歌還舉了個例子：一位乳腺癌晚期的病人入院檢查，醫(yī)院電腦判斷病人在住院期間死亡的概率是 9.3%，但谷歌人工智能的分析是，死亡概率 19.9%。

結(jié)果病人在入院后兩周去世。就預測入院后死亡概率這件事來說，谷歌的準確率是 95%，醫(yī)院傳統(tǒng)方式的準確率只有 86%。

除此之外，這個人工智能模型還能算出其他概率，而且也都優(yōu)于傳統(tǒng)方式：

• 預測患者是否會在醫(yī)院停留很長時間的準確率：0.86（谷歌）與0.76（傳統(tǒng)方式）。
• 在患者出院后預測是否會再入院的準確率：0.77（谷歌）與0.70（傳統(tǒng)方式）。

隨著人工智能技術越來越成熟，各種“預言方式”正在被不斷開發(fā)出來。這一瞬間仿佛人類就如同弱小的螞蟻，人類的預測結(jié)果在 AI 面前，如同小兒科一般。

如今 AI 的發(fā)展速度我們有目共睹，但是作為一位程序員你或許會有這樣的疑惑：賣力開發(fā) AI 技術，到頭來會讓自己失業(yè)嗎？

AI 搶程序員工作：2040 年 AI 可能代替程序員

程序員以及其他類型的 IT 工作無疑是當前最熱門的工作。然而，這種趨勢可能不會一直持續(xù)下去。

美國橡樹嶺國家實驗室的一些專家預測，到 2040 年，AI 技術將會強大到足以替代程序員，AI 編寫軟件將比人類程序員更好、更快。換句話說，軟件編寫的軟件比人類編寫的更好。

這是怎么發(fā)生的？AI 能真正學會如何做需要高度創(chuàng)造性的智力工作嗎？畢竟創(chuàng)造性一直被認為是人類特有的。AI 能學到的東西會比我們教它的更多嗎？

利用人工神經(jīng)網(wǎng)絡制定編寫規(guī)則

人工神經(jīng)網(wǎng)絡是一種試圖模仿人類大腦學習機制的技術。它啟發(fā)自真實的神經(jīng)網(wǎng)絡，并且部分地模擬真實的神經(jīng)網(wǎng)絡。我們可以試著把人類的神經(jīng)系統(tǒng)想象成一臺非常強大的計算機。

[[235743]]

在上面這幅圖中，每個神經(jīng)元都有一個輸入和輸出，輸入實際上是一系列信號的加權(quán)組合。

每個信號都有自己的數(shù)學上可表達的影響，信號的總和決定了輸出。人類神經(jīng)網(wǎng)絡的特殊之處在于，它們能夠基于學習和經(jīng)驗進行適應和改變，這意味著相同的輸入并不總是產(chǎn)生相同的輸出。

這是通過改變不同脈沖的優(yōu)先次序和修改神經(jīng)元之間的物理連接來完成的。這些變化通過學習算法和成本函數(shù)來指定，以提高人類適應新環(huán)境和優(yōu)化未來行為的能力。

研究人工神經(jīng)網(wǎng)絡的科學家和工程師試圖復制這種機制，并在軟件開發(fā)中實施。具體地說，這意味著軟件不會以傳統(tǒng)的方式編寫，比如一系列的“if… then”規(guī)則。

從理論上講，我們可以想象通過漸進式學習和優(yōu)化的過程，人工神經(jīng)網(wǎng)絡能夠?qū)W習如何制定(或“編寫”)規(guī)則，從而得到比人類編寫的更好的輸出。

在 AI 科學中，這被稱為深度學習，通常在一定程度上依賴人類的反饋。

以下是幾個可以代替程序員的應用程序。

Karpathy：利用循環(huán)神經(jīng)網(wǎng)絡自動生成代碼

早在 2015 年，當時是斯坦福大學計算機科學博士生的 Andrej Karpathy 就使用循環(huán)神經(jīng)網(wǎng)絡來生成代碼。

他使用了一個 Linux 存儲庫（所有的源文件和 headers files），將它合并成一個巨大的文檔（超過 400MB 的代碼），并用這些代碼來訓練 RNN。

他讓系統(tǒng)跑了一晚上。第二天早上，他得到了這個：

AI 生成的代碼樣本

從字面上來看，AI 生成的代碼包含函數(shù)和函數(shù)裝飾。它有參數(shù)、變量、循環(huán)和正確的縮進形式。括號有開括號和收括號，甚至還有注釋。

在這些代碼中，AI 當然也犯了一些錯誤。有時變量從未被使用。其他時候，有些變量沒有更早定義。但 Karpathy 對這個結(jié)果感到滿意。

“這些代碼總體上看起來非常棒。當然，我不認為它會編譯，但是當你瀏覽生成的代碼時，它感覺非常像一個巨大的 C 代碼庫，”Karpathy 在他的博客中寫道。

這個項目在 GitHub 上可以找到。它使用了 Torch7 的深度學習庫。這里有 Karpathy 得到的整個輸出文件：https://github.com/karpathy/char-rnn

DeepCoder

微軟和劍橋大學的研究人員開發(fā)了一種可編寫代碼的機器學習系統(tǒng)，被稱為 DeepCoder，它具有學習的能力。

DeepCoder 可以在龐大的代碼庫中進行檢索，然后編寫有效的代碼。DeepCoder 所用的技術叫程序合成（ program synthesis），通過截取已有軟件的代碼行來組成新的程序。

不得不承認，當下很多程序員也是這樣做的。通過學習一系列代碼片（code fragment）的輸入和輸出數(shù)據(jù)，DeepCoder 能自動摘取出對目標任務有用的代碼片在一秒鐘之內(nèi)寫出能夠跑通的程序。

隨著 DeepCoder 的編程經(jīng)驗增加，其分辨有用及無用的代碼片的能力增加，其生成程序的速度將會越來越快。

這并不意味著 AI 是在竊取代碼，或者從現(xiàn)有軟件復制粘貼代碼，或者在互聯(lián)網(wǎng)上搜索解決方案。DeepCoder 的作者期望它將在不久的將來參與編程競賽。

由 DeepCoder 創(chuàng)建的域特定語言（DSL）示例程序

DeepCoder 的創(chuàng)造者之一，在劍橋大學參與微軟研究項目的 Marc Brockschmidt 表示：“該程序最終可以讓非編程人員通過向計算機描述自己的程序構(gòu)想來獲得想要的程序，系統(tǒng)會自動寫就。”

你可以在這里找到 DeepCoder 的文檔：https://openreview.net/pdf?id=ByldLrqlx

AI 編寫 Python 代碼

一名法國工程師以 BenjaminTD 的昵稱發(fā)表了一篇博客文章，解釋了自己是如何“教一個 AI 系統(tǒng)如何用 Python 代碼編寫 Python 代碼”。

他使用了長短期記憶網(wǎng)絡(LSTM)，這是最流行的遞歸神經(jīng)網(wǎng)絡結(jié)構(gòu)之一。

他用大量的 Python 代碼（使用 Pandas、Numpy、Scipy、Django、Scikit-Learn、PyBrain、Lasagne、Rasterio 等庫）來“喂給”這個網(wǎng)絡。組合文件大小有 27MB。然后，AI 生成了自己的代碼。

下面是定義初始化：

...使用布爾表達式：

...并創(chuàng)建數(shù)組：

如果仔細觀察數(shù)組，你會發(fā)現(xiàn)有一個語法錯誤。BenjaminTD 的代碼遠非完美，但是他認為，對于一個只是從閱讀示例代碼中學習的網(wǎng)絡來說，這些代碼看上去不錯。

AI Programmer

2017年 ，來自彭博和英特爾實驗室的研究人員號稱實現(xiàn)了首個能夠自動生成完整軟件程序的 AI 系統(tǒng) “AI Programmer”。

AI Programmer 利用機器學習中的遺傳算法，模擬復雜的指令。雖然現(xiàn)在 AI Programmer 生成的程序，復雜程度與人類新手程序員編寫的結(jié)果相當。

但研究人員認為，AI Programmer 編寫的程序完全可以超越傳統(tǒng)范疇，不受人類時間和智慧的局限。

AI Programmer 的軟件架構(gòu)

從圖中可見，由人類驅(qū)動的部分非常少，只需要在開始輸入指令，最后接收適用于某項任務的函數(shù)即可，剩下部分全部由機器完成。

研究人員表示，他們能用 AI Programmer 生成很多軟件程序。下表是所生成程序的名單。

看完上文，你有沒有想過，如果 AI 失控了會怎么樣？下面跟著小編來看一個恐怖的故事，故事中的作者就被“瘋魔”了的機器強制解雇了，但是從始至終卻沒有人能夠阻止它。

我竟然被機器強行解雇了！

早上七點，我的手機響了——然而并不是鬧鐘，擾人清夢的是我的派遣顧問。

這個時候打電話也太早了吧！于是我干脆沒接。起床洗了個澡，然后上班。上班路上我打開了她的留言：“哎呀，你沒事兒吧？”

我們公司的通訊錄上有好幾個和我同名同姓的人，所以我對這番莫名其妙的話一點兒反應也沒有。所以她一定是打錯了。

到了公司之后，我在刷卡機上刷了門卡。伴隨著一陣刺耳的滴聲，紅燈亮了，門沒有開。

我又試了幾次，每次都是同樣的紅燈和滴聲。我看了眼門衛(wèi) Jose，Jose 也看到我了。

他聳了聳肩，過一會兒他大笑起來，按了下桌子下方的按鈕，門開了。Jose 是我工作的 LA-1 大廈保安。

我立即給發(fā)我短信的派遣顧問回了個電話：

顧問：你昨天跟經(jīng)理談話了？

我：是的。

顧問：一切正常？

我：是的，一切正常。出什么問題了？

顧問：不知道，早上我收到了一封關于你的郵件……一定是他們搞錯了。他們讓你進門了？

我：我不明白。不過他們讓我進門了，到底出什么事兒了？

顧問：一定是搞錯了，我問問我的經(jīng)理，過一會兒給你回電話。

這大半年來 Jose 每天都看著我進出那扇大門。我覺得這一定是他想跟我開個玩笑，肯定是他在我刷卡之前禁用了門上的刷卡機。

于是我直接去找經(jīng)理看看究竟“出了什么問題”：

我：嗨！

Sam（經(jīng)理）：嘿 Ibrahim，今天怎么樣？

我：還不錯。我剛接到派遣顧問的電話，聽說你在找我？

Sam：沒有?。∷f是啥事兒了嗎？

我：沒，她說一會兒給我回電話。我還是先等她電話吧。

結(jié)果我沒接到她的電話。然后一天無事，似乎平淡乏味的日子又開始了。第二天我在進停車場刷卡的時候又聽到了刺耳的滴滴聲。

我后面的車排起了長龍，車主們開始變得不耐煩，一些人已經(jīng)開始沖我按喇叭了。但要想掉頭出去卻不可能，通道太長了。

正當我手足無措的時候，保安來了，看了我一眼，然后失望地搖了搖頭，用他自己的卡刷了下讓我進去了。我紅著臉一直開到了八層。

進入大樓之后，我的門卡依舊失效，刺耳的滴滴聲整個樓層都能聽得見。最后還是 Jose 給我開了門。

我的門卡不是第一次失效了，估計該換了，我想。進了工作間之后我去找了經(jīng)理，她答應立刻給我換一張新卡，同時告訴保安每天早上給我打印一張當天有效的臨時通行證。哼，一點小小的代價。

我回到座位上然后在電腦上工作了幾個小時。完成工作之后，我登錄到另一臺 Windows 電腦上去關閉 Jira（一個項目與事務跟蹤工具）上的任務，結(jié)果發(fā)現(xiàn)我被從 Jira 上退出了。這之后，我試了幾次重新登錄都失敗了。

我的樓層門口有張海報，那是一名員工畫的紐約客風格的漫畫，上面兩名員工在自己的格子里對話。

對話內(nèi)容是：

——Jira 掛了？

——對，Jira 掛了！

Jira 經(jīng)常掛掉。于是我問了問旁邊格子里的同事 Jira 還能不能用。結(jié)果他說能用，然后我讓他幫我看看我的那個任務。他打開任務后發(fā)現(xiàn)，任務里我的名字灰掉了，旁邊還有個“（不活躍）”幾個字。

經(jīng)理應該能解決這個問題，不過現(xiàn)在正是午飯時間。于是我去樓下的咖啡廳里買了個黑豆?jié)h堡，這種健康的食物對于像我這種整天坐著工作的人很有好處。出于同樣的目的，吃完飯我還去散了個步，這也是每天必做的事兒。

不用說，我回來的時候也順著樓梯爬到了 11 層。爬樓梯很累，但每天坐著畢竟不好。結(jié)果到了 11 層后我發(fā)現(xiàn)了個嚴重的問題：必須刷門卡才能離開樓梯間。

讀卡器緩慢地發(fā)出了充滿挖苦的刺耳聲，就像八位游戲機那種聲音一樣。我被困在樓梯間里了，我坐了十分鐘才等到另一個爬樓梯的人幫我開了門，然后我像做賊一樣回到了自己的位置上。

就在這時我接到了派遣顧問的電話，她不斷向我道歉，還問我是否一切正常。她說她收到了一封郵件說我的合同被中止了，我立刻去找了經(jīng)理，結(jié)果經(jīng)理很驚訝地表示她沒收到任何消息。

她也不明白為什么我的 Jira 賬號被禁用了，但系統(tǒng)不讓她重新啟用我的賬號。于是她給 Jira 的技術支持團隊建了個任務讓他們重新啟用我的賬號。

回到位置上時，我在屏幕上發(fā)現(xiàn)了個可怕的錯誤消息，讓我立刻重啟電腦。我沒有聽，因為我開了幾百個窗口，還有好幾個編程環(huán)境在運行呢。我只是關掉了消息框，我知道一旦重啟電腦，我就沒法再登錄了。

那天余下的時間，我登錄到 Confluence（一個企業(yè)知識管理與協(xié)同軟件）中去記錄我的工作內(nèi)容。

第三天，我打了 Uber 上班——我可不想再被卡在停車場門口了。Jose 也沒辦法給我打印臨時通行證，因為在系統(tǒng)里我的名字是紅色的。

我的經(jīng)理得自己到樓下接我上樓。派遣顧問給我發(fā)了個消息告訴我別去上班，因為她剛剛收到消息說，我的通行證在我被終止合同后被人使用了。不過我已經(jīng)進來了，所以我們?nèi)フ伊酥鞴堋?/p>

究竟出什么事兒了？我是不是被開除了？主管大笑起來。她是個高個兒優(yōu)雅的女人，渾身上下充滿了自信。

她伸了伸胳膊，拿起電話，用同一只手撥了技術支持的號碼。她命令他們立刻搞定這些問題，然后掛斷了電話，并且向我保證不會有事兒，我可以回去安心工作，在今天之內(nèi)這一切都會恢復正常。

然而我還沒來得及離開她的屋子，就看到她收到了這封郵件：

我被解雇了。就在這時，我工作時使用的那臺價值幾百萬刀的設備出事兒了。

幾十萬條記錄丟失，Web 界面也不響應了。我回到桌子前發(fā)現(xiàn)我的 Windows 電腦已經(jīng)自動重啟了（天殺的微軟！），我的賬號也被禁用了。

幸好我還有一臺 CentOS 的機器。平常用來開發(fā)的工具也不能用了，我只能黑進我的服務器去重啟，調(diào)試，重啟所有訪問，然后重新處理所有數(shù)據(jù)。

離開大樓之前我去找主管，發(fā)現(xiàn)她還在跟支持團隊打電話。她肯定地說讓我明天繼續(xù)來上班。

第四天，除了我的 Linux 機器之外，我已經(jīng)不能登錄任何系統(tǒng)了。就連我們用來登記工時以便索取報酬的系統(tǒng)也不能用了。所以整個上午我只能寫文檔。

吃過午飯之后，兩個人出現(xiàn)在我的桌子前。其中一個長著我熟悉的長臉，竭力避免跟我目光接觸，正是 Jose 和他的保安同事。

他說他是來送我出大樓的。保安們說他們收到了一封非常嚇人的郵件，要求把我送出大樓，他們只是照章辦事而已。

主管怒了。“究竟是誰發(fā)的郵件?。?rdquo;我被解雇了。我的經(jīng)理毫無辦法，主管也毫無辦法，她們只能無助地看著我收拾東西離開。

接下來三個星期內(nèi)，她們把每封相關的郵件都抄給了我。我看著這件事一層層被上報至越來越高級的頭銜，但無論誰都束手無策。

每次轉(zhuǎn)發(fā)他們都會附上一封系統(tǒng)郵件，那毫無靈魂的紅字決定了我的命運。禁用這個，禁用那個，取消這個權(quán)限，取消那個權(quán)限，驅(qū)逐出大樓，等等。

系統(tǒng)失控了，我是第一個受害者。我在那里工作了八個月以上，我的工作本身就證明了我自己。

人們都在夸獎我，贊美我的工作。與每個人的關系也都非常融洽，我相信我沒有對任何人做錯任何事……不過這讓我想起了脆弱的工作安全。

最終，問題解決了。一天早上，派遣顧問聯(lián)系我說我可以回去工作了，但我已經(jīng)失去了三個星期的時間，還有報酬。到了公司后，他們向我解釋了一切。

一旦員工合同中止的工作單發(fā)出后，系統(tǒng)就會接管一切。所有中止合同所需的工作單會自動發(fā)出，每個都會觸發(fā)其他的工作單。

比如，禁用門卡的工作單發(fā)出后，就沒辦法再恢復了。門卡一旦禁用，系統(tǒng)就會發(fā)郵件告訴保安被禁用的員工，而我的門卡也不能再刷了。緊接著就會發(fā)送禁用 Windows 賬號的工作單，還有禁用 Jira 賬號的工作單，等等。

而這個長達幾天的過程沒有任何方法能中止。我只能以新員工的方式被重新雇傭，意味著我得重新填寫各種文件，設置銀行卡賬號，等聯(lián)邦快遞給我發(fā)送新的門卡。

但最終的問題是，我究竟是怎樣被中止的？我的合同期限是三年，而我僅工作了八個月。

就在我被雇傭之前，公司被一家更大的公司收購，而我正是在收購的過程中加入的。我當時的經(jīng)理是以前管理團隊的一員。一天早上我上班時，發(fā)現(xiàn)他的辦公桌被清理干凈了，仿佛他根本不存在一樣。

作為全職員工，他被裁掉了。但在公司被收購的過程中，他需要以合同工的身份在家里工作。

我估計，受到裁員的影響，他肯定無心工作，于是一些事情就被忽略了，而在系統(tǒng)中給我的合同續(xù)約，正是被忽略的工作之一。

我對這份工作很滿意。我已經(jīng)徹底地學會了工作所用的整個系統(tǒng)，還在工作中交了許多朋友，制定了工作的流程，成了同事們可以依靠的人?？偟膩碚f，我非常滿意。

但當合同到期時，機器接管了一切然后解雇了我。一個簡單的自動化錯誤（或者說，功能？）導致了雪崩。

我像個賊一樣被送出大樓，還得跟人解釋為什么沒去上班，跟同事的關系也疏遠了（除了我的經(jīng)理變得極其支持我）。

盡管在這樣一家大公司工作對于我來說是個極好的機會，我還是決定下一次考慮別的工作。

我所謂的“工作安全”只是一個幻影。我不禁開始想，如果我真的在公司犯了錯誤會發(fā)生什么。

自動化也許是公司的財富，但當機器犯錯誤時，人必須能夠干預。正因為沒人能阻止機器，導致我失去了三周的報酬。

一年之后的今天，我終于可以坐下來平靜地講這個故事了。這就是我被機器解雇而人類束手無策的故事。

以上即為作者 Ibrahim Diallo 個人的真實經(jīng)歷，認真地工作卻被“強大”的機器系統(tǒng)強制解雇了。

而事實上，Hacker News 上的很多開發(fā)者都有過相似的經(jīng)歷，他們也有被無處不在的智能系統(tǒng)玩弄過。

潛在的威脅：不確定機器能做到什么程度

雖然現(xiàn)在已經(jīng)有程序可以代替人類了，但隨之而來的問題是，如果機器能夠自己學習，他們能學到多少？極限在哪里？

這個優(yōu)化的過程真的能教軟件比人更好地寫代碼嗎？網(wǎng)站開發(fā)機構(gòu)和軟件公司是否會利用 AI 驅(qū)動的程序為自己編寫代碼，以節(jié)省資金？

事實是，我們還不確定機器能做到什么程度。但是，我們知道人工智能已經(jīng)在影響 IT 行業(yè)的一些工作。

印度軟件咨詢和外包公司 Wipro Ltd. 自去年 6 月以來使用 AI 平臺 Holmes 來維護軟件，其 3000 多名工程師因此擔心他們的工作。

更不用說，我們經(jīng)常使用的許多技術都采用機器學習技術——從語音識別到機器翻譯。

AI 和人類程序員將在編程中扮演互補的角色

人工神經(jīng)網(wǎng)絡的一個問題是它們使用的算法是“黑盒”，這意味著它們內(nèi)部的工作方式太過復雜。

特斯拉的 AI 總監(jiān) Andrej Karpathy 認為，對于大多數(shù)應用領域，我們永遠無法得到完全由 AI 驅(qū)動的 100% 精確的模型。

他認為 AI 系統(tǒng)的準確率將超過 90%，但它們并不完美，它們偶爾會以出人意料的方式失敗。

一般來說，有監(jiān)督和有人控制的深度學習系統(tǒng)比無監(jiān)督的系統(tǒng)表現(xiàn)更好。這意味著，即使是最復雜的 AI 軟件也需要人類的參與和反饋，以學習和適應新的環(huán)境。

這個事實為未來人工智能和人類程序員之間的緊張關系提供了一種解決方案——共同工作。

[[235744]]

我們可以肯定的是，在不久的將來，AI 和人類程序員將在編程中扮演互補的角色。

AI 的工作可能是處理重復性的、耗時的任務，這些任務需要機器優(yōu)異的精確性。機器可以避免由于人為因素而產(chǎn)生的語法錯誤或設計錯誤。

例如，AI 可以提供幫助的一種方式是自動完成功能，程序員只編寫一小部分代碼，然后 AI 識別程序員的意圖，并完成剩下的代碼，從而為人類節(jié)省大量的工作。

即使機器能夠完全代替今天程序員所做的工作，但這并不意味著它們不需要人類的幫助。

但程序員必須將注意力從編寫程序轉(zhuǎn)移到監(jiān)控 AI 的性能，并將數(shù)據(jù)“喂給”AI。

正如 Karpathy 所指出的，程序員可能會成為一種數(shù)據(jù)加持者——收集、整理和分析數(shù)據(jù)，然后將它們用作 AI 的輸入，然后讓 AI 完成剩下的工作。

福利來啦

你覺得你現(xiàn)有的工作會被AI取代嗎？作為傳統(tǒng)程序員到底要不要轉(zhuǎn)行到AI？掃描下方二維碼，關注51CTO技術棧公眾號。歡迎在技術棧微信公眾號留言探討。小編將選出留言最精彩的10名網(wǎng)友，送出《揭秘深度強化》圖書一本~活動截止時間 7 月 16 日十二時整，特別鳴謝中國水利水電出版社為本次活動提供的圖書贊助。

書籍簡介

《揭秘深度強化學習 人工智能機器學習技術叢書》是一本詳細介紹深度強化學習算法的入門類圖書，涉及深度學習和強化學習的相關內(nèi)容，是人工智能前沿的研究方向。非常適合想在下一代技術領域立足的人工智能和機器學習算法從業(yè)者學習和參考。

該書囊括了強化學習基礎知識、馬爾科夫決策過程、無模型強化學習、模仿學習、深度學習基礎知識、神經(jīng)網(wǎng)絡基本組成、反向傳播算法、功能神經(jīng)網(wǎng)絡層、循環(huán)神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡（CNN）的基礎和結(jié)構(gòu)、循環(huán)神經(jīng)網(wǎng)絡（RNN）、深度強化學習基礎、蒙特卡洛搜索樹、策略梯度算法、深度強化學習算法框架、深度Q學習、雙Q學習、異步優(yōu)越性策略子-評價算法、深度強化學習應用實例等。