計算機(jī)科學(xué)家們在人工智能的技術(shù)核心--機(jī)器學(xué)習(xí)(Machine Learning)和深度學(xué)習(xí)(Deep Learning)領(lǐng)域上已經(jīng)取得重大的突破，機(jī)器被賦予強(qiáng)大的認(rèn)知和預(yù)測能力?；仡櫄v史，在1997年，IBM深藍(lán)戰(zhàn)勝國際象棋冠軍卡斯帕羅夫;在2011年，具備機(jī)器學(xué)習(xí)能力的IBM Waston參加綜藝節(jié)目贏得100萬美金;在2016年，利用深度學(xué)習(xí)訓(xùn)練的Aplphago成功擊敗人類世界冠軍。種種事件表明機(jī)器也可以像人類一樣思考，甚至比人類做得更好。

目前，人工智能在金融、醫(yī)療、制造等行業(yè)得到了廣泛應(yīng)用。其中，機(jī)器學(xué)習(xí)是人工智能技術(shù)發(fā)展的主要方向。

一、機(jī)器學(xué)習(xí)與人工智能、深度學(xué)習(xí)的關(guān)系

在介紹機(jī)器學(xué)習(xí)之前，先需要對人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三者之間的關(guān)系進(jìn)行梳理。目前業(yè)界最常見的劃分是：

• 人工智能：是使用與傳統(tǒng)計算機(jī)系統(tǒng)完全不同的工作模式，它可以依據(jù)通用的學(xué)習(xí)策略，讀取海量的大數(shù)據(jù)，并從中發(fā)現(xiàn)規(guī)律、聯(lián)系和洞見，因此人工智能能夠根據(jù)新數(shù)據(jù)自動調(diào)整，而無需重設(shè)程序。
• 機(jī)器學(xué)習(xí)：是人工智能研究的核心技術(shù)，在大數(shù)據(jù)的支撐下，通過各種算法讓機(jī)器對數(shù)據(jù)進(jìn)行深層次的統(tǒng)計分析以進(jìn)行自學(xué);利用機(jī)器學(xué)習(xí)，人工智能系統(tǒng)獲得了歸納推理和決策能力;而深度學(xué)習(xí)更將這一能力推向了更高的層次。
• 深度學(xué)習(xí)是機(jī)器學(xué)習(xí)算法的一種，隸屬于人工神經(jīng)網(wǎng)絡(luò)體系，現(xiàn)在很多應(yīng)用領(lǐng)域中性能最佳的機(jī)器學(xué)習(xí)都是基于模仿人類大腦結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)設(shè)計而來的，這些計算機(jī)系統(tǒng)能夠完全自主地學(xué)習(xí)、發(fā)現(xiàn)并應(yīng)用規(guī)則。相比較其他方法，在解決更復(fù)雜的問題上表現(xiàn)更優(yōu)異，深度學(xué)習(xí)是可以幫助機(jī)器實現(xiàn)獨立思考的一種方式。

總而言之，人工智能是社會發(fā)展的重要推動力，而機(jī)器學(xué)習(xí)，尤其是深度學(xué)習(xí)技術(shù)就是人工智能發(fā)展的核心，它們?nèi)咧g是包含與被包含的關(guān)系。如下圖：

二、機(jī)器學(xué)習(xí)：實現(xiàn)人工智能的高效方法

從廣義上來說，機(jī)器學(xué)習(xí)是一種能夠賦予機(jī)器學(xué)習(xí)的能力，以此讓它完成直接編程無法完成的功能的方法。但從實踐的意義上來說，機(jī)器學(xué)習(xí)是通過經(jīng)驗或數(shù)據(jù)來改進(jìn)算法的研究，通過算法讓機(jī)器從大量歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，得到某種模式并利用此模型預(yù)測未來，機(jī)器在學(xué)習(xí)的過程中，處理的數(shù)據(jù)越多，預(yù)測結(jié)果就越精準(zhǔn)。

機(jī)器學(xué)習(xí)在人工智能的研究中具有十分重要的地位。它是人工智能的核心，是使計算機(jī)具有智能的根本途徑，其應(yīng)用遍及人工智能的各個領(lǐng)域。從20世紀(jì)50年代人們就開始了對機(jī)器學(xué)習(xí)的研究，從最初的基于神經(jīng)元模型以及函數(shù)逼近論的方法研究，到以符號演算為基礎(chǔ)的規(guī)則學(xué)習(xí)和決策樹學(xué)習(xí)的產(chǎn)生，以及之后的認(rèn)知心理學(xué)中歸納、解釋、類比等概念的引入，至最新的計算學(xué)習(xí)理論和統(tǒng)計學(xué)習(xí)的興起，機(jī)器學(xué)習(xí)一直都在相關(guān)學(xué)科的實踐應(yīng)用中起著主導(dǎo)作用。現(xiàn)在已取得了不少成就，并分化出許多研究方向，主要有符號學(xué)習(xí)、連接學(xué)習(xí)和統(tǒng)計學(xué)習(xí)等。

01 機(jī)器學(xué)習(xí)的結(jié)構(gòu)模型

機(jī)器學(xué)習(xí)的本質(zhì)就是算法，算法是用于解決問題的一系列指令。程序員開發(fā)的用于指導(dǎo)計算機(jī)進(jìn)行新任務(wù)的算法是我們今天看到的先進(jìn)數(shù)字世界的基礎(chǔ)。計算機(jī)算法根據(jù)某些指令和規(guī)則，將大量數(shù)據(jù)組織到信息和服務(wù)中。機(jī)器學(xué)習(xí)向計算機(jī)發(fā)出指令，允許計算機(jī)從數(shù)據(jù)中學(xué)習(xí)，而不需要程序員做出新的分步指令。

機(jī)器學(xué)習(xí)的基本過程是給學(xué)習(xí)算法提供訓(xùn)練數(shù)據(jù)。然后，學(xué)習(xí)算法基于數(shù)據(jù)的推論生成一組新的規(guī)則。這本質(zhì)上就是生成一種新的算法，稱之為機(jī)器學(xué)習(xí)模型。通過使用不同的訓(xùn)練數(shù)據(jù)，相同的學(xué)習(xí)算法可以生成不同的模型。從數(shù)據(jù)中推理出新的指令是機(jī)器學(xué)習(xí)的核心優(yōu)勢。它還突出了數(shù)據(jù)的關(guān)鍵作用：用于訓(xùn)練算法的可用數(shù)據(jù)越多，算法學(xué)習(xí)到的就越多。事實上，AI 許多最新進(jìn)展并不是由于學(xué)習(xí)算法的激進(jìn)創(chuàng)新，而是現(xiàn)在積累了大量的可用數(shù)據(jù)。

02 機(jī)器學(xué)習(xí)的工作流程

• Step1選擇數(shù)據(jù)

首先將原始數(shù)據(jù)分成三組：訓(xùn)練數(shù)據(jù)、驗證數(shù)據(jù)和測試數(shù)據(jù);

• Step2數(shù)據(jù)建模

再使用訓(xùn)練數(shù)據(jù)來構(gòu)建使用相關(guān)特征的模型;

• Step3驗證模型

使用驗證數(shù)據(jù)輸入到已經(jīng)構(gòu)建的數(shù)據(jù)模型中;

• Step4測試模型

使用測試數(shù)據(jù)檢查被驗證的模型的性能表現(xiàn);

• Step5使用模型

使用完全訓(xùn)練好的模型在新數(shù)據(jù)上做預(yù)測;

• Step6選擇數(shù)據(jù)

使用更多數(shù)據(jù)、不同的特征或調(diào)整過的參數(shù)來提升算法的性能表現(xiàn)。

03 機(jī)器學(xué)習(xí)發(fā)展的關(guān)鍵基石

• 海量數(shù)據(jù)

人工智能的能量來源是穩(wěn)定的數(shù)據(jù)流。機(jī)器學(xué)習(xí)只有通過海量數(shù)據(jù)來訓(xùn)練自己，才能開發(fā)新規(guī)則來完成日益復(fù)雜的任務(wù)。目前我們時刻都在產(chǎn)生大量的數(shù)據(jù)，而數(shù)據(jù)存儲成本的降低，使得這些數(shù)據(jù)易于被使用。

• 超強(qiáng)計算

強(qiáng)大的計算機(jī)和通過互聯(lián)網(wǎng)連接遠(yuǎn)程處理能力使可以處理海量數(shù)據(jù)的機(jī)器學(xué)習(xí)技術(shù)成為可能。ALPHGO之所以能在與對李世石的對決中取得歷史性的勝利，這與它硬件配置的1920個CPU和280個GPU超強(qiáng)運(yùn)算系統(tǒng)密不可分，可見計算能力對于機(jī)器學(xué)習(xí)是至關(guān)重要的。

• 優(yōu)秀算法

在機(jī)器學(xué)習(xí)中，學(xué)習(xí)算法(learning algorithms)創(chuàng)建了規(guī)則，允許計算機(jī)從數(shù)據(jù)中學(xué)習(xí)，從而推論出新的指令(算法模型)，這也是機(jī)器學(xué)習(xí)的核心優(yōu)勢。新的機(jī)器學(xué)習(xí)技術(shù)，特別是分層神經(jīng)網(wǎng)絡(luò)，也被稱為深度學(xué)習(xí)，啟發(fā)了新的服務(wù)，刺激了對人工智能這一領(lǐng)域其他方面的投資和研究。

04 機(jī)器學(xué)習(xí)的算法分類

機(jī)器學(xué)習(xí)基于學(xué)習(xí)形式的不同通?？煞譃槿悾?/p>

• 監(jiān)督學(xué)習(xí)(Supervised Learning)

給學(xué)習(xí)算法提供標(biāo)記的數(shù)據(jù)和所需的輸出，對于每一個輸入，學(xué)習(xí)者都被提供了一個回應(yīng)的目標(biāo)。監(jiān)督學(xué)習(xí)主要被應(yīng)用于快速高效地教熟AI現(xiàn)有的知識，被用于解決分類和回歸的問題。常見的算法有決策樹(Decision Trees)、Adaboost算法、人工神經(jīng)網(wǎng)絡(luò)(ArTIficial Neural Network-ANN)算法、SVM(Support Vector Machine)算法等。

• 無監(jiān)督學(xué)習(xí)(Unsupervised Learning)

給學(xué)習(xí)算法提供的數(shù)據(jù)是未標(biāo)記的，并且要求算法識別輸入數(shù)據(jù)中的模式，主要是建立一個模型，用其試著對輸入的數(shù)據(jù)進(jìn)行解釋，并用于下次輸入?，F(xiàn)實情況下往往很多數(shù)據(jù)集都有大量的未標(biāo)記樣本，有標(biāo)記的樣本反而比較少。如果直接棄用，很大程度上會導(dǎo)致模型精度低。這種情況解決的思路往往是結(jié)合有標(biāo)記的樣本，通過估計的方法把未標(biāo)記樣本變?yōu)閭蔚挠袠?biāo)記樣本，所以無監(jiān)督學(xué)習(xí)比監(jiān)督學(xué)習(xí)更難掌握。主要用于解決聚類和降維問題，常見的算法有聚類算法、K-means算法、Expectation Maximisation(EM)算法、Affinity Propagation聚類算法、層次聚類算法等。

• 強(qiáng)化學(xué)習(xí)(Reinforcement Learning)

該算法與動態(tài)環(huán)境相互作用，把環(huán)境的反饋作為輸入，通過學(xué)習(xí)選擇能達(dá)到其目標(biāo)的最優(yōu)動作。強(qiáng)化學(xué)習(xí)這一方法背后的數(shù)學(xué)原理與監(jiān)督/非監(jiān)督學(xué)習(xí)略有差異。監(jiān)督/非監(jiān)督學(xué)習(xí)更多地應(yīng)用了統(tǒng)計學(xué)，而強(qiáng)化學(xué)習(xí)更多地結(jié)合了離散數(shù)學(xué)、隨機(jī)過程這些數(shù)學(xué)方法。常見的算法有TD(λ)算法、Q-learning算法等。

三、機(jī)器學(xué)習(xí)在BI的應(yīng)用：自然語言分析

隨著機(jī)器學(xué)習(xí)的普及，對話型用戶交互接口逐漸成為業(yè)界的熱門話題。Natural Language to SQL( NL2SQL)就是這樣的一項技術(shù)，它將用戶的自然語句轉(zhuǎn)為可以執(zhí)行的SQL語句，從而免除業(yè)務(wù)用戶學(xué)習(xí)SQL語言的煩惱，成功將自然語言應(yīng)用于BI領(lǐng)域。

Smartbi的自然語言分析就是利用了NL2SQL技術(shù)，將自然語言通過神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化為計算機(jī)可以識別的數(shù)據(jù)庫查詢語言。用戶通過語音或者鍵盤輸入后，“AI智能小麥”會將輸入的自然語言轉(zhuǎn)為語言元模型的形式，通過小麥內(nèi)置的知識抽取算法，經(jīng)過深度學(xué)習(xí)模型將元模型轉(zhuǎn)化為機(jī)器可以理解的數(shù)據(jù)庫語言。最后通過Smartbi預(yù)置的查詢引擎和圖形引擎，快速準(zhǔn)確地找到用戶想要的查詢結(jié)果，自動生成圖形輸出，也可以在Smartbi中對查詢結(jié)果進(jìn)行組合和進(jìn)一步分析。

四、機(jī)器學(xué)習(xí)在BI的應(yīng)用：數(shù)據(jù)挖掘

數(shù)據(jù)挖掘利用機(jī)器學(xué)習(xí)技術(shù)從大量數(shù)據(jù)中挖掘出有價值的信息。對比傳統(tǒng)的數(shù)據(jù)分析，數(shù)據(jù)挖掘揭示數(shù)據(jù)之間未知的關(guān)系，可以做一些預(yù)測性的分析，例如精準(zhǔn)營銷、銷量預(yù)測、流失客戶預(yù)警等等。

雖然數(shù)據(jù)挖掘?qū)W習(xí)門檻較高，但是有越來越多的軟件工具支持機(jī)器學(xué)習(xí)模型的自動構(gòu)建，這些模型可以嘗試許多不同的算法來找出最成功的算法。一旦通過訓(xùn)練數(shù)據(jù)找到了能夠進(jìn)行預(yù)測的最佳模型，就可以部署它，并對新的數(shù)據(jù)進(jìn)行預(yù)測。例如Smartbi的數(shù)據(jù)挖掘平臺在一個界面上通過可視化的操作實現(xiàn)數(shù)據(jù)預(yù)處理、算法應(yīng)用、模型訓(xùn)練、評估、部署等全生命周期的管理。同時，內(nèi)置分類、聚類、關(guān)聯(lián)、回歸五大類數(shù)十個算法節(jié)點并支持自動推薦，參數(shù)也能實現(xiàn)自動調(diào)優(yōu)。

機(jī)器學(xué)習(xí)是人工智能應(yīng)用的又一重要研究領(lǐng)域。當(dāng)今，盡管在機(jī)器學(xué)習(xí)領(lǐng)域已經(jīng)取得重大技術(shù)進(jìn)展，但就目前機(jī)器學(xué)習(xí)發(fā)展現(xiàn)狀而言，自主學(xué)習(xí)能力還十分有限，還不具備類似人那樣的學(xué)習(xí)能力，同時機(jī)器學(xué)習(xí)的發(fā)展也面臨著巨大的挑戰(zhàn)，諸如泛化能力、速度、可理解性以及數(shù)據(jù)利用能力等技術(shù)性難關(guān)必須克服。但令人可喜的是，在某些復(fù)雜的類人神經(jīng)分析算法的開發(fā)領(lǐng)域，計算機(jī)專家已經(jīng)取得了很大進(jìn)展，人們已經(jīng)可以開發(fā)出許多自主性的算法和模型讓機(jī)器展現(xiàn)出高效的學(xué)習(xí)能力。對機(jī)器學(xué)習(xí)的進(jìn)一步深入研究，勢必推動人工智能技術(shù)的深化應(yīng)用與發(fā)展。