【51CTO.com原創(chuàng)稿件】2018年11月30日-12月1日，WOT2018全球人工智能技術(shù)峰會在北京·粵財(cái)JW萬豪酒店盛大召開。60+國內(nèi)外 人工智能一線精英大咖與千余名業(yè)界專業(yè)人士齊聚現(xiàn)場，分享人工智能的平臺工具、算法模型、語音視覺等技術(shù)內(nèi)容，探討人工智能如何賦予行業(yè)新的活力。兩天會議涵蓋通用技術(shù)、應(yīng)用領(lǐng)域、行業(yè)賦能三大章節(jié)，開設(shè)13大技術(shù)專場，如機(jī)器學(xué)習(xí)、數(shù)據(jù)處理、AI平臺與工具、推薦搜索、業(yè)務(wù)實(shí)踐、優(yōu)化硬件等，堪稱人工智能技術(shù)盛會。

大量的數(shù)據(jù)可以提供訓(xùn)練學(xué)習(xí)算法所需，如何利用數(shù)據(jù)來培訓(xùn)人工智能，使其獲得更精準(zhǔn)的結(jié)果？針對這個問題，本屆WOT2018峰會特別設(shè)置了《數(shù)據(jù)處理》分論壇。來自VIPKID、易觀智庫、BBAE Holdings的三位大咖圍繞“聚焦數(shù)據(jù)處理，挖掘數(shù)據(jù)價(jià)值”進(jìn)行了主題分享。

智能匹配在在線教育行業(yè)的應(yīng)用

VIPKID是一家在線少兒英語教育公司。VIPKID供需優(yōu)化技術(shù)負(fù)責(zé)人沈亮主要負(fù)責(zé)供給側(cè)優(yōu)化、需求匹配、課程質(zhì)量方面的工作，此次演講他詳細(xì)介紹了智能匹配在在線教育行業(yè)中的應(yīng)用。

VIPKID供需優(yōu)化技術(shù)負(fù)責(zé)人 沈亮

在線教育行業(yè)是典型的雙邊市場，雙邊市場的概念是指2組參與者通過中間平臺進(jìn)行交易，并且一方的收益決定另一方參與者的數(shù)量。在VIPKID快速發(fā)展的過程中，隨著用戶規(guī)模的變大，傳統(tǒng)搶單模式的弊端慢慢暴露出來。比如：用戶無法挑選到合適的老師；用戶選擇其他用戶喜好的老師；以及平臺馬太效應(yīng)愈發(fā)嚴(yán)重。和外賣、快遞、出行等行業(yè)的發(fā)展軌跡一樣，VIPKID慢慢從搶單過度到智能派單，能夠有效地提升平臺的整體效率，同時(shí)，提升用戶的產(chǎn)品滿意度。

那么，整個雙邊市場的匹配是一個怎么樣的AI問題呢？ 沈亮認(rèn)為，可以把它分為3個層次，從不同的建設(shè)周期來考慮。最長周期是生態(tài)規(guī)劃的基礎(chǔ)建設(shè)，比如：根據(jù)需求側(cè)的發(fā)展來預(yù)測一定時(shí)間內(nèi)老師的招募，司機(jī)，配送小哥的招募。第二個層次是市場調(diào)節(jié)，可以通過經(jīng)濟(jì)手段來調(diào)節(jié)，比如：高峰期的司機(jī)補(bǔ)貼、乘客加價(jià)，乘客優(yōu)惠券的發(fā)放，老師長期的加薪周期，開課激勵等。第三個層次是單次用戶需求的滿足，通過實(shí)時(shí)的派單產(chǎn)品、以及用戶搶單產(chǎn)品來實(shí)現(xiàn)。

談到如何構(gòu)建在線教育行業(yè)的智能匹配模型，沈亮表示，VIPKID將模型區(qū)分為兩個階段，第一階段是用戶找到合適供給的階段，我們構(gòu)建了個性化的匹配機(jī)制。第二階段是用戶找到了合適的供給以后，我們通過約課機(jī)制來保障用戶需求能夠持續(xù)得到滿足。

VIPKID在優(yōu)化整體的學(xué)習(xí)目標(biāo)時(shí)，也是在不斷變化的，每個階段的思考點(diǎn)是不同的。一開始VIPKID按照Feed流產(chǎn)品的思路，用列表頁點(diǎn)擊來做為機(jī)器學(xué)習(xí)的正樣本。其中核心問題是，從Feed流到真正產(chǎn)生交易的概率低，不能代表用戶的核心訴求。第二步，優(yōu)化用戶約課動作發(fā)生，從約課到上課有2周左右的周期，并且用戶對陌生老師的再復(fù)約率不到40%。所以有了第三點(diǎn)目標(biāo)的變化，用戶重復(fù)約課的老師是正樣本，用戶約課后不滿意為負(fù)樣本。這一步主要的問題是1、不滿意的用戶不表達(dá)，2、平臺不好約還是用戶不滿意區(qū)分度不強(qiáng)。最終，VIPKID選擇了上課質(zhì)量做為機(jī)器學(xué)習(xí)的優(yōu)化目標(biāo)。

海豚系統(tǒng)是VIPKID的一整套在線視頻的解決方案。以課程質(zhì)量分析模塊為例，它主要是通過從語音、圖像、交互角度上來分析老師／學(xué)生的課堂表現(xiàn)，評估每堂課的教學(xué)／學(xué)習(xí)質(zhì)量。其中圖像部分主要進(jìn)行人臉識別／檢測、手勢識別（TPR教學(xué)方法）、表情識別（笑臉）、語音方面則包括老師語音識別、語音情感識別、噪音識別。通過這些課堂的特征來構(gòu)建課堂質(zhì)量評估模型，VIPKID通過專家標(biāo)注＋數(shù)據(jù)挖掘的方式來區(qū)分好課和差課。

有了課堂質(zhì)量分的概念，對于一個陌生老師，VIPKID則會提取該老師最近上課視頻中的語音、圖像相關(guān)的特征，學(xué)生喜歡的老師圖像、語音相關(guān)特征，以及老師／學(xué)生的一部分結(jié)構(gòu)化數(shù)據(jù)，進(jìn)行特征挖掘、交叉和離散化從而構(gòu)建不同的模型，然后發(fā)布到線上A/B測試來監(jiān)控質(zhì)量、以及核心指標(biāo)的變化。

在市場機(jī)制、規(guī)則設(shè)計(jì)上，VIPKID推出了專屬外教產(chǎn)品，能夠讓用戶通過簡單的一步即可和自己喜歡的老師長期上課。專屬外教的產(chǎn)品邏輯是這樣的，首先，用戶設(shè)置自己喜歡的老師和上課時(shí)間，第二步，系統(tǒng)會在所有的規(guī)則集合內(nèi)進(jìn)行系統(tǒng)派單，從數(shù)學(xué)角度上來看，這是一個簡單的2分加權(quán)圖的分配問題。VIPKID用了傳統(tǒng)的KM （Kuhn-Munkres）算法了解決，也取得了不錯的效果。

VIPKID通過構(gòu)建基于課程質(zhì)量的智能匹配模型，完善了師生穩(wěn)定上課階段的派單引擎；另外，VIPKID在供給側(cè)采用了相對隔離，以及師生匹配的預(yù)分配。上線前后最大的變化就是，它讓用戶更快地選擇到適合自己的老師，可以從兩方面衡量，第一，用戶找到合適老師的成本（課節(jié)數(shù)）下降40%；其次，用戶找到合適老師的時(shí)間下降了33%。

另外，智能匹配也使得用戶不需要搶課，有了更好的約課體驗(yàn)；從數(shù)據(jù)上有兩點(diǎn)明顯改進(jìn)，第一，周一高峰期來搶課的用戶群體下降幅度高達(dá)42%。第二，系統(tǒng)派單的占比持續(xù)提升，4個月時(shí)間，提升比例高達(dá)85%。

基于IOTA架構(gòu)的實(shí)時(shí)數(shù)據(jù)引擎

易觀智庫CTO郭煒分享了題為《IOTA 數(shù)據(jù)架構(gòu)——基于邊緣計(jì)算的適用于大數(shù)據(jù)和人工智能新一代計(jì)算架構(gòu)》的主題演講，詳細(xì)講解了基于IOTA數(shù)據(jù)河的計(jì)算引擎的實(shí)現(xiàn)思路，以及數(shù)據(jù)河的基本理念。

易觀智庫CTO 郭煒

郭煒指出，現(xiàn)代大部分企業(yè)都在面臨大數(shù)據(jù)困境，存在大數(shù)據(jù)“大而不強(qiáng)”，人工智能 “人工”而不“智能”的問題。企業(yè)在應(yīng)用大數(shù)據(jù)的過程中，無論是大數(shù)據(jù)部門的研發(fā)、總監(jiān)還是架構(gòu)師都會面臨四大挑戰(zhàn)：

• 隨著大數(shù)據(jù)、人工智能的火爆，相關(guān)人才嚴(yán)重不足；
• IoT正在讓數(shù)據(jù)量持續(xù)爆發(fā)，移動互聯(lián)網(wǎng)數(shù)據(jù)將會增長十倍，乃至幾十倍，大數(shù)據(jù)存儲永遠(yuǎn)不夠，并且企業(yè)并不知道這些數(shù)據(jù)如何利用；
• 業(yè)務(wù)分析多變難以滿足：業(yè)務(wù)部門希望通過選擇維度或者拖拽的方式，能夠盡可能快的展現(xiàn)出結(jié)果。隨著數(shù)據(jù)量越來越大，定義指標(biāo)、預(yù)定維度正在變得越來越困難；
• IoT，移動端，CRM數(shù)據(jù)正在變得越來越多，越來越復(fù)雜，格式也不統(tǒng)一。

他認(rèn)為，要解決企業(yè)的這些問題，就需要使用新一代的數(shù)據(jù)計(jì)算架構(gòu)IOTA架構(gòu)——基于邊緣計(jì)算的適用于大數(shù)據(jù)和人工智能新一代計(jì)算架構(gòu)。它將數(shù)據(jù)和AI模型，從中央集中計(jì)算放到邊緣進(jìn)行計(jì)算，最終形成企業(yè)數(shù)據(jù)的業(yè)務(wù)閉環(huán)，提高企業(yè)運(yùn)行效率。IOTA架構(gòu)擴(kuò)展到整個企業(yè)就形成了數(shù)據(jù)水系的理論，數(shù)據(jù)河補(bǔ)全了數(shù)據(jù)湖的流動性問題，將IOTA架構(gòu)擴(kuò)展到整個企業(yè)，從而改善整個企業(yè)大數(shù)據(jù)和人工智能與業(yè)務(wù)的交互效率以及自身技術(shù)的發(fā)展速度。

IOTA數(shù)據(jù)架構(gòu)具有四大優(yōu)勢：

• 去ETL （（Extract-Transform-Load））化架構(gòu)：過去企業(yè)都在做ETL，每次都要進(jìn)行各種各樣的數(shù)據(jù)處理，而IOTA架構(gòu)則不再使用ETL，所有數(shù)據(jù)產(chǎn)生的時(shí)候就已經(jīng)處理好，可以直接放到云端，進(jìn)行數(shù)據(jù)查詢；
• 非結(jié)構(gòu)化實(shí)時(shí)結(jié)構(gòu)化為SQL數(shù)據(jù)存儲：大量事件都是非結(jié)構(gòu)化數(shù)據(jù)，企業(yè)所要做的是把其實(shí)時(shí)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲。
• 支持IoT設(shè)備與現(xiàn)有移動端數(shù)據(jù)融合：企業(yè)常常會遇到Web端和Android端的用戶如何打通的問題，需要花費(fèi)企業(yè)很多精力，搭建平臺進(jìn)行分層，而現(xiàn)在就可以直接進(jìn)行數(shù)據(jù)的融合。
• 支持邊緣AI實(shí)時(shí)反饋：一方面，企業(yè)可以把數(shù)據(jù)直接存儲在云端，很快的查詢到邊緣的數(shù)據(jù)。另一方面，在一些簡單的數(shù)據(jù)模型中，企業(yè)可以把參數(shù)下放到SDK中，讓SDK進(jìn)行集成。而不再需要每次都在云端進(jìn)行大量計(jì)算，直接在邊緣端進(jìn)行計(jì)算即可。

IOTA的整體技術(shù)結(jié)構(gòu)分為幾部分：

• 核心模型Common Data Model：始終貫穿IOTA架構(gòu)的數(shù)據(jù)模型，需要SDK、Cache、歷史數(shù)據(jù)、查詢引擎保持一致。對于用戶數(shù)據(jù)分析來講，可以定義為“主-謂-賓”或者“對象-事件”這樣的抽象模型來滿足各種各樣的查詢。以APP用戶模型為例，用“主-謂-賓”模型描述就是“X用戶 – 事件1 – A頁面(2018/4/11 20:00) ”。
• 核心組件Edge SDK：不僅僅是過去的簡單的SDK，在復(fù)雜的計(jì)算情況下，會賦予SDK更復(fù)雜的計(jì)算， 在設(shè)備端就轉(zhuǎn)化為形成統(tǒng)一的數(shù)據(jù)模型來進(jìn)行傳送。例如，對于智能Wi-Fi采集的數(shù)據(jù)，從AC端就變?yōu)?ldquo;X用戶的MAC 地址-出現(xiàn)- A樓層(2018/4/11 18:00)”這種主-謂-賓結(jié)構(gòu)，對于攝像頭會通過Edge AI Server，轉(zhuǎn)化成為“X的Face特征- 進(jìn)入- A火車站(2018/4/11 20:00)”，對于智能音箱就會變?yōu)?ldquo;X用戶-啟動-Y設(shè)備 （2018/4/11 20:00）”。

與此同時(shí)，企業(yè)如何利用數(shù)據(jù)產(chǎn)生價(jià)值呢？郭煒給出的答案是企業(yè)需要打造一個數(shù)據(jù)驅(qū)動的中臺。很多企業(yè)認(rèn)為，數(shù)據(jù)中臺就是把各種數(shù)據(jù)組件打包、把大數(shù)據(jù)存儲好即可。但是隨著時(shí)間積累，數(shù)據(jù)中臺就會從數(shù)據(jù)湖變成數(shù)據(jù)沼澤。由此，易觀提出了數(shù)據(jù)河的概念，中國有句俗話叫“流水不腐，戶樞不蠹”，也就是數(shù)據(jù)一定要像河水一樣流動起來，才不會產(chǎn)生瘀泥。具體來說，數(shù)據(jù)河就是，從數(shù)據(jù)產(chǎn)生端直接通過IOTA架構(gòu)數(shù)據(jù)河實(shí)時(shí)流向數(shù)據(jù)使用者，而不再需要像過去一樣層層加工之后才能使用，其好處就在于如果遇到數(shù)據(jù)質(zhì)量發(fā)生問題，不用等到數(shù)據(jù)加工完幾天甚至是一個月之后才發(fā)現(xiàn)，而是在最早的時(shí)間，數(shù)據(jù)的發(fā)生者和使用者就能夠很快的發(fā)現(xiàn)問題，從而驅(qū)動解決問題。

最后，郭煒為與會者舉了一個IOTA架構(gòu)引擎的實(shí)例——易觀秒算，具有以下六大特點(diǎn)：

• 去“ETL”化；
• 高效：時(shí)時(shí)入庫即時(shí)分析；
• 穩(wěn)定：經(jīng)過易觀5.8Pb，5.2億月活數(shù)據(jù)錘煉；
• 跨數(shù)據(jù)庫：天然支持“Data Federation”數(shù)據(jù)聯(lián)邦針對MySQL等數(shù)據(jù)庫跨庫查詢；
• 便捷：支持SQL級別的二次開發(fā)和UDAF定義；
• 擴(kuò)充性強(qiáng)：組件基于Apache開源協(xié)議，可支持眾多開源存儲對接。

基于大數(shù)據(jù)AI的金融建模

來自SEC備案注冊的初創(chuàng)投資顧問平臺BBAE Holdings的CTO劉玥帶來了題為《基于大數(shù)據(jù)AI的金融建模——BBAE 智能投顧模型的機(jī)器學(xué)習(xí)實(shí)踐》的主題演講，圍繞BBAE智能投顧產(chǎn)品的設(shè)計(jì)實(shí)現(xiàn)，詳細(xì)介紹了如何基于統(tǒng)計(jì)模型和機(jī)器學(xué)習(xí)來構(gòu)建一個自適應(yīng)的資產(chǎn)管理組合。

BBAE Holdings CTO 劉玥

劉玥首先介紹了智能投顧的前世今生。Robo Advisory（智能投顧）概念始于2008經(jīng)濟(jì)危機(jī)后，2010年，Betterment將基于算法的資產(chǎn)管理模式成功帶入人們的視線。德勤預(yù)計(jì)2025年，美國基于AI和算法模型的資產(chǎn)管理模式將管理多達(dá)5萬億至7萬億美金的資產(chǎn)。

傳統(tǒng)的建模方法包括Risk Neutral、Constant Mix、60/40、Equal Weighted。

• Risk Neutral：例如，給定兩個投資機(jī)會，風(fēng)險(xiǎn)中性投資者只關(guān)注每個投資的潛在收益，而忽略潛在的下行風(fēng)險(xiǎn)；
• Constant Mix：你買入低價(jià)并且賣得很高，因?yàn)槟阗u出表現(xiàn)最好的股票來買入表現(xiàn)最差的股票；
• 60/40：60％的股票和40％的債券或其他固定收益產(chǎn)品；
• Equal Weighted：許多最大和最知名的市場指數(shù)是市值加權(quán)或價(jià)格加權(quán)。市值加權(quán)指數(shù)，如標(biāo)準(zhǔn)普爾500指數(shù)，根據(jù)市值對大公司給予更大的重視。蘋果和通用電氣等大型股是標(biāo)準(zhǔn)普爾500指數(shù)中最大的股票。道瓊斯工業(yè)平均指數(shù)等價(jià)格加權(quán)指數(shù)給股票價(jià)格上漲的股票帶來更大的權(quán)重。小盤股通常被認(rèn)為比大盤股具有更高的風(fēng)險(xiǎn)，更高的潛在回報(bào)投資。理論上，在等權(quán)重的投資組合中給標(biāo)準(zhǔn)普爾500指數(shù)中較小的股票賦予更大的權(quán)重，應(yīng)該會增加投資組合的回報(bào)潛力。 

這些模型雖然簡單直觀，但過于依賴條件假設(shè)，難以個性化。自2008年有了智能投顧這個概念之后，大家越來越多的會把統(tǒng)計(jì)模型用于金融分析的領(lǐng)域中。

預(yù)期收益計(jì)算也有很多傳統(tǒng)方法，和機(jī)器學(xué)習(xí)方法形成了兩大陣營?，F(xiàn)代投資組合理論（MPT）是由Harry Markowitz于1952年提出，是一種試圖通過在收益和風(fēng)險(xiǎn)之間取得平衡來創(chuàng)建資產(chǎn)組合的理論。其基本理論是，可以在給定一定風(fēng)險(xiǎn)的情況下最大化投資組合預(yù)期收益，或者等效地降低給定收益水平的風(fēng)險(xiǎn)。

MPT的一個主要思想是，資產(chǎn)組合不應(yīng)基于單個資產(chǎn)的表現(xiàn)，而應(yīng)整體地考慮資產(chǎn)績效。這意味著在評估投資組合時(shí)必須考慮投資組合的內(nèi)部風(fēng)險(xiǎn)收益動態(tài)。 MPT的經(jīng)典數(shù)學(xué)模型使用平均收益作為預(yù)期收益的度量，并使用收益方差作為風(fēng)險(xiǎn)度量。

根據(jù)風(fēng)險(xiǎn)調(diào)整后的收益對有效邊界進(jìn)行優(yōu)化，并通過考慮市場收益、獨(dú)立風(fēng)險(xiǎn)和相關(guān)風(fēng)險(xiǎn)的量化方法獲得有效邊界，從而在結(jié)構(gòu)良好的低相關(guān)市場組合 中消除市場獨(dú)立風(fēng)險(xiǎn)。 然后可以識別最優(yōu)分配并將其應(yīng)用于不同的客戶。 

這其中，有三個核心要素，包括Market Return（預(yù)期收益向量）、Market Risk（預(yù)期風(fēng)險(xiǎn)（協(xié)方差矩陣））、Constraints（約束條件）。

資本資產(chǎn)定價(jià)模型（CAPM）是由William Sharpe創(chuàng)建的模型，它根據(jù)市場回報(bào)和資產(chǎn)與市場回報(bào)的線性關(guān)系來估計(jì)資產(chǎn)的收益。 這種線性關(guān)系是股票的β系數(shù)。CAPM使用簡單的線性回歸，而FF使用具有許多自變量的多元回歸。 因此，我們的3因子FF方程是lm（ R_excess~MKT_RF + SMB + HML。例如，我們可以用過去 26 期周收益率數(shù)據(jù)的均值當(dāng)做下周周收益率均值的預(yù)測。由于每個投資品的預(yù)測只用到自己過去的歷史數(shù)據(jù)，因此這個模型是無結(jié)構(gòu)性的（它相當(dāng)于每個投資品自成一個因子）。此外，基于歷史數(shù)據(jù)的預(yù)測是無偏的（unbiased）。

舉一個例子，預(yù)測市場收益與不同宏觀變量的關(guān)系，如石油，美元，波動率，消費(fèi)者信心，利率等。在傳統(tǒng)統(tǒng)計(jì)中，分析師會采用線性回歸來計(jì)算這些變量的市場收益的β值。通過機(jī)器學(xué)習(xí)，分析師可以使用先進(jìn)的回歸模型計(jì)算風(fēng)險(xiǎn)，這些回歸模型將考慮異常值，以穩(wěn)健的方式處理大量變量，區(qū)分相關(guān)輸入變量，考慮潛在的非線性效應(yīng)等。通過計(jì)算機(jī)科學(xué)家開發(fā)的新算法使回歸成為可能。例如，一個擴(kuò)展 - 稱為套索回歸 - 選擇輸入變量的最小必要子集。另一種算法 - 稱為邏輯回歸 - 適用于處理數(shù)據(jù)，其中結(jié)果輸出是二進(jìn)制值，如“買入”或“賣出”。該方法涉及將觀察組隨機(jī)地劃分為大小相等的k組或折疊。第一個折疊被視為驗(yàn)證集，并且該方法適合剩余的k-1倍。

在估計(jì)每個時(shí)間幀的協(xié)方差矩陣時(shí)，BBAE Holdings采用了機(jī)器學(xué)習(xí)方法，包括K最近鄰(kNN，k-NearestNeighbor)分類算法和Lasso算法，我們發(fā)現(xiàn)這些方法可以提高檢驗(yàn)結(jié)果偏差（out of specification）性能，而不是傳統(tǒng)的估算方法。像Lasso和Ridge是對普通線性回歸的簡單修改，旨在在存在大量潛在相關(guān)變量的情況下創(chuàng)建更穩(wěn)健的輸出模型。當(dāng)輸入特征的數(shù)量很大或輸入特征相關(guān)時(shí)，經(jīng)典線性回歸傾向于過度擬合并產(chǎn)生虛假系數(shù)。 LASSO，Ridge和彈性網(wǎng)絡(luò)回歸也是“正規(guī)化”的例子 - 機(jī)器學(xué)習(xí)中的一種技術(shù)，有望減少樣本外的預(yù)測錯誤（但無助于減少樣本內(nèi)回溯錯誤）。

例如，市場狀況類別可以定義為強(qiáng)牛、牛、中性、熊和強(qiáng)熊。該算法使用SVM (Support Vector Machine)和Ransom Forrest這些技術(shù)進(jìn)行數(shù)據(jù)輸入的處理，包括基本因素和技術(shù)因素，然后可以將其市場定義為五種類型之一。如果市場屬于強(qiáng)牛類，則該算法可以調(diào)整（其他條件，如投資者的風(fēng)險(xiǎn)偏好可能適用）相應(yīng)市場的下限約束，如果市場屬于熊類，則可以減小所述市場的上限約束以控制風(fēng)險(xiǎn)暴露。 

以上內(nèi)容是51CTO記者根據(jù)WOT2018全球人工智能技術(shù)峰會的《數(shù)據(jù)處理》分論壇演講內(nèi)容整理，更多關(guān)于WOT的內(nèi)容請關(guān)注51cto.com。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請注明原文作者和出處為51CTO.com】