機器學習

• 今天機器學習得意其一個算法優(yōu)異的表現(xiàn)——深度學習

• 因為只要大家談到機器學習，就會首先想到深度學習，甚至有些人認為機器學習就是深度學習

深度學習只是機器學習的一個算法

• 今天深度學習憑借卷積神經(jīng)網(wǎng)絡和循環(huán)神經(jīng)網(wǎng)絡以及基于他們衍生得網(wǎng)絡在空間和時間任務上取得了優(yōu)異成績

• 但是機器學習任務并非只局限這兩個任務，還有想價格預估、金融量化、股價預測等等

• 除了深度學習還有許多機器學習方法，例如 SVM、XGboost 等好用算法
• 演化算法搜索神經(jīng)網(wǎng)絡

深度學習崛起

[[391620]]

數(shù)據(jù)

• 數(shù)據(jù)量很大神經(jīng)網(wǎng)絡可擴展性越好，調(diào)整神經(jīng)網(wǎng)絡大小和深度來學到更多有用的信息，其他學習模型會有天花板

[[391621]]

算力

• GPU 出現(xiàn)可以為進行大量的并行矩陣運算提供了可能，神經(jīng)網(wǎng)絡大部分計算都是運行在 GPU 上，特別是訓練階段

堅持

• 因為有了 Yoshua Bengio、 Geffrey Hiton 和 Yann Lecun 他們不斷努力和堅持，才有今天深度學習

深度學習應用領域

計算機視覺

• 當年 Yann Lecun 提出了 covNet 隨后 AlexNet 就將準確度提升很大一塊

到 2016 年，神經(jīng)網(wǎng)絡在 imageNet 這個數(shù)據(jù)集已經(jīng)將錯誤率降低到 3% ，已經(jīng)低于人類分類任務 5% 的錯誤率

• 現(xiàn)在一個神經(jīng)網(wǎng)絡在計算視覺進入了一個成熟器，現(xiàn)在多少數(shù)神經(jīng)網(wǎng)絡還在將 ResNet 和 VGG 作為基礎網(wǎng)絡

• 通過 GAN 實現(xiàn)了圖片的生成，只有能夠創(chuàng)建圖片才認為機器真正理解圖片的含義。在 person not exist website 這個網(wǎng)站生成人的圖片可以以假亂真

[[391625]]

• 現(xiàn)在提出了膠囊網(wǎng)絡和自適應神經(jīng)網(wǎng)絡

[[391626]]

自然語言模型

早起出現(xiàn)的循環(huán)神經(jīng)網(wǎng)絡可以用于處理時序上的問題

自然語言模型

• 早起出現(xiàn)的循環(huán)神經(jīng)網(wǎng)絡可以用于處理時序上的問題

• LSTM 和 GRU 出現(xiàn)添加門控機制解決循環(huán)神經(jīng)網(wǎng)絡梯度彌散的問題，通過控制存儲單元寫入讀取讓循環(huán)神經(jīng)網(wǎng)絡更合理好用

• 自注意實現(xiàn)循環(huán)神經(jīng)網(wǎng)絡可以從串行到并行，自注意通過對注意力的分配控制當前輸出會對序列中那些值更關注

 

• Transform 和 BERT 將所有自然語言榜單進行一次刷新

[[391628]]

• 當年 GPT-2 的出現(xiàn)，因為其表現(xiàn) Open AI 認為其表現(xiàn)過于優(yōu)越，因此并沒有將其開源

• 最近 Google 推出了 XLNet 再次震撼了自然語言處理領域

圖卷積(GNN)

• 深度學習解決許多歐幾里得空間的數(shù)據(jù)，但是真實世界并非所有數(shù)都存在歐幾里得空間，而是實體之間存在某種關系

[[391629]]

• 我們?nèi)诵畔⒋嬖诮Y構中，希望通過分析實體之間關系挖掘結構上的信息

[[391630]]

• 現(xiàn)在在推薦系統(tǒng)、社交網(wǎng)絡、交通網(wǎng)絡或者物流上都會用到圖卷積

[[391631]]

• 圖卷積可以為下游任務提供給含有更多信息的數(shù)據(jù)

強化學習(RL)

[[391632]]

• 引起公眾對人工智能的注意，當看到 AlphaGo 完成人類世界冠軍，甚至開始自己的未來產(chǎn)生了擔憂

• 引起公眾對人工智能的注意，當看到 AlphaGo 完成人類世界冠軍，甚至開始自己的未來產(chǎn)生了擔憂

[[391633]]

• 淘寶推薦系統(tǒng)，滴滴派單系統(tǒng)以及無人駕駛都開始引入強化學習幫助做決策