隨著技術(shù)的發(fā)展與市場(chǎng)需求的深入，IoT物聯(lián)網(wǎng)已進(jìn)入快速發(fā)展期，給ICT行業(yè)帶來了廣闊的市場(chǎng)空間。在剛剛過去的2018華為中國生態(tài)伙伴大會(huì)期間，通過展區(qū)展示不難發(fā)現(xiàn)，在汽車、水、電、氣、工業(yè)設(shè)備等等領(lǐng)域，越來越多的終端聯(lián)接網(wǎng)絡(luò)，源源不斷的產(chǎn)生海量時(shí)序和時(shí)空數(shù)據(jù)，這些數(shù)據(jù)往往具有很強(qiáng)的時(shí)效性，隨著時(shí)間的推移，其價(jià)值也就急速衰減，因此如何應(yīng)對(duì)海量時(shí)序/時(shí)空數(shù)據(jù)的高速存儲(chǔ)和查詢、如何對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的檢測(cè)和監(jiān)控、如何實(shí)時(shí)的挖掘出數(shù)據(jù)背后的價(jià)值都是很大的挑戰(zhàn)。那么，華為云EI企業(yè)智能又是如何幫助用戶與伙伴應(yīng)對(duì)這些挑戰(zhàn)呢？

[[223738]]

車聯(lián)網(wǎng)正成為IoT行業(yè)應(yīng)用的先鋒

IoT典型場(chǎng)景

根據(jù)筆者在IoT領(lǐng)域的一些實(shí)踐經(jīng)驗(yàn)，將IoT領(lǐng)域的在線應(yīng)用場(chǎng)景歸納為如下：

物聯(lián)網(wǎng)IoT數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)大多是時(shí)序和時(shí)空數(shù)據(jù)，那么什么是時(shí)序數(shù)據(jù)和時(shí)空數(shù)據(jù)。我們一般認(rèn)為時(shí)序數(shù)據(jù)是某個(gè)時(shí)間點(diǎn)發(fā)生了某件事情，但是在時(shí)序數(shù)據(jù)這個(gè)領(lǐng)域里定義的時(shí)序數(shù)據(jù)全都是跟數(shù)值有關(guān)的。舉一個(gè)簡(jiǎn)單例子，一輛汽車在上午9點(diǎn)在某個(gè)加油站加油這條記錄，相當(dāng)于一條日志，本身不能構(gòu)成一個(gè)時(shí)序數(shù)據(jù)，但是如果今天我們每一秒鐘都記錄了該汽車的油箱里具體油量的值，那么今天的86400條油量記錄數(shù)據(jù)再加上每秒的時(shí)間點(diǎn)則構(gòu)成了一個(gè)時(shí)序數(shù)據(jù)。那什么是時(shí)空數(shù)據(jù)呢？簡(jiǎn)單來說，如果今天我們每一秒鐘都記錄了該汽車的位置信息（X\Y坐標(biāo)），這些位置數(shù)據(jù)則構(gòu)成了二維空間數(shù)據(jù)，那么這86400條的坐標(biāo)記錄數(shù)據(jù)加上每秒的時(shí)間點(diǎn)則構(gòu)成了一個(gè)時(shí)空數(shù)據(jù)。

對(duì)于這些時(shí)序和時(shí)空數(shù)據(jù)的在線業(yè)務(wù)可以簡(jiǎn)單的分為三大類，實(shí)時(shí)檢測(cè)、實(shí)時(shí)查詢和實(shí)時(shí)分析。

實(shí)時(shí)檢測(cè)是期望可以實(shí)時(shí)的對(duì)異常數(shù)據(jù)、異常行為和故障進(jìn)行檢測(cè)，快速返回給管理系統(tǒng)或者通知相關(guān)人員等。比如車隊(duì)管理則要求進(jìn)行電子圍欄的檢測(cè)，一旦發(fā)現(xiàn)車輛行駛或停止的范圍超出了規(guī)定的地理空間范圍，則可以進(jìn)行告警?；蛘哓涍\(yùn)公司發(fā)現(xiàn)某貨運(yùn)汽車并沒有按照正常的路線行駛，偏離了正常航道，也可以進(jìn)行告警，從而進(jìn)行實(shí)時(shí)糾偏。

實(shí)時(shí)查詢，主要是對(duì)于這些時(shí)序數(shù)據(jù)或者時(shí)空數(shù)據(jù)進(jìn)行查詢以進(jìn)行下一步的分析或進(jìn)行展現(xiàn)，比如查詢?cè)缟?點(diǎn)到9點(diǎn)早高峰期間車的軌跡、車輛本周的油量變化曲線、用戶用電曲線等。由于IoT采集數(shù)據(jù)的頻率非常高，可能還需要繪制低精度的曲線。

實(shí)時(shí)分析，主要是對(duì)于采集到的指標(biāo)數(shù)據(jù)進(jìn)行分析，得到基于某些行業(yè)的知識(shí)，比如對(duì)于駕駛員的行為分析，對(duì)于汽車油耗的統(tǒng)計(jì)分析等。

IoT數(shù)據(jù)實(shí)時(shí)分析方案

在IoT領(lǐng)域，對(duì)于IoT數(shù)據(jù)的實(shí)時(shí)處理流程包括以下幾個(gè)步驟：

1. 通過IoT Hub進(jìn)行數(shù)據(jù)采集或者通過GPS的接入；
2. 對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)檢測(cè)，或者預(yù)處理；
3. 數(shù)據(jù)寫入數(shù)據(jù)庫/文件系統(tǒng)；
4. 對(duì)數(shù)據(jù)庫/文件系統(tǒng)中的數(shù)據(jù)進(jìn)行查詢、分析。

基于華為云服務(wù)來實(shí)現(xiàn)上述的處理流程，主要會(huì)如下圖所示的幾個(gè)服務(wù)：

IoT Hub可以對(duì)接物聯(lián)網(wǎng)終端進(jìn)行數(shù)據(jù)采集；DIS（數(shù)據(jù)接入服務(wù)）采用kafka內(nèi)核將數(shù)據(jù)接入到華為云，并和CloudStream（實(shí)時(shí)流計(jì)算服務(wù)）無縫對(duì)接；CloudStream從DIS消費(fèi)數(shù)據(jù)進(jìn)行實(shí)時(shí)檢測(cè)或分析，返回檢測(cè)結(jié)果給在線應(yīng)用，或者增加一些分析數(shù)據(jù)寫入到CloudTable時(shí)序/時(shí)空數(shù)據(jù)庫中；CloudTable（表格存儲(chǔ)服務(wù)）作為毫秒級(jí)NoSQL數(shù)據(jù)庫可以支持海量的數(shù)據(jù)存儲(chǔ)，并提供時(shí)序/時(shí)空數(shù)據(jù)的查詢和實(shí)時(shí)分析；對(duì)于一些近實(shí)時(shí)的查詢分析可以通過spark內(nèi)核的UQuery服務(wù)來進(jìn)行。下面詳細(xì)介紹核心服務(wù)CloudStream實(shí)時(shí)流計(jì)算和CloudTable時(shí)序/時(shí)空數(shù)據(jù)庫能給企業(yè)帶來什么價(jià)值。

實(shí)時(shí)流計(jì)算，IoT的核心引擎

對(duì)于IoT場(chǎng)景的海量時(shí)序/時(shí)空數(shù)據(jù)，華為云CloudStream作為實(shí)時(shí)流式大數(shù)據(jù)分析服務(wù)，微秒級(jí)的計(jì)算性能為企業(yè)挖掘?qū)崟r(shí)數(shù)據(jù)價(jià)值提供了核心能力，具體體現(xiàn)有以下顯著優(yōu)勢(shì)：

1、雙引擎

IoT場(chǎng)景海量的數(shù)據(jù)實(shí)時(shí)計(jì)算必須需要有高性能的計(jì)算引擎支撐，既要滿足低時(shí)延高吞吐的性能要求，又要滿足數(shù)據(jù)一致性要求。另外，IoT場(chǎng)景多種多樣的業(yè)務(wù)也要求計(jì)算引擎能夠運(yùn)行批量，流式，交互式，圖處理，機(jī)器學(xué)習(xí)等應(yīng)用。目前業(yè)界主流的流計(jì)算引擎Flink和Spark Streaming都非常適合IoT場(chǎng)景，兩者以不同的設(shè)計(jì)思想（前者是原生流式計(jì)算，后者是微批處理計(jì)算）各領(lǐng)風(fēng)騷，都有著活躍的開源社區(qū)支撐。

CloudStream集成了Flink和Spark Streaming，雙引擎方式很好的連接了開源生態(tài)，完全兼容開源版本Flink1.4和Spark2.2，方便業(yè)務(wù)人員平滑遷移線下業(yè)務(wù)上云。

2、基于地理位置分析的SQL 擴(kuò)展

IoT大量業(yè)務(wù)場(chǎng)景需要對(duì)時(shí)空數(shù)據(jù)進(jìn)行實(shí)時(shí)的地理位置分析，如電子圍欄、偏航檢測(cè)等。CloudStream擴(kuò)展了Flink SQL，提供了基于地理位置分析的一系列Time GeoSpatial語法，方便業(yè)務(wù)人員使用SQL快速開發(fā)地理位置分析業(yè)務(wù)，其中DDL for Time GeoSpatial可以快速定義基本元素，例如點(diǎn)、線、多邊形、圓等；SQL Geospatial Scalar Functions 可以對(duì)基本元素進(jìn)行基本操作，例如計(jì)算兩點(diǎn)間距離、判斷區(qū)域是否覆蓋、判斷點(diǎn)是否在區(qū)域內(nèi)、移動(dòng)位置計(jì)算、分析距離相交包含關(guān)系等；SQL Time Geospatial可以在窗口中對(duì)基本元素進(jìn)行基本操作，例如計(jì)算多種窗口的平均速度和距離。

圖示為實(shí)時(shí)流計(jì)算服務(wù)的IoT算子輕松實(shí)現(xiàn)電子圍欄檢測(cè)

3、CEP on SQL

IoT大量業(yè)務(wù)場(chǎng)景需要實(shí)時(shí)檢測(cè)無盡數(shù)據(jù)流中的復(fù)雜模式，例如車輛異常行為檢測(cè)、工業(yè)設(shè)備異常運(yùn)行狀態(tài)檢測(cè)。CloudStream擴(kuò)展了Flink SQL，提供了非常高效的CEP on SQL的能力，提供了基于Match Recognize的模式匹配檢測(cè)，可以幫助業(yè)務(wù)人員使用SQL實(shí)現(xiàn)基于復(fù)雜事件規(guī)則的異常檢測(cè)業(yè)務(wù)，無需開發(fā)Flink PATTERN API自定義業(yè)務(wù)，只需要一行SQL查詢語句搞定，大大降低此類業(yè)務(wù)開發(fā)難度。

CloudTable時(shí)序/時(shí)空數(shù)據(jù)庫，為IoT數(shù)據(jù)而生

CloudTable是華為云上毫秒級(jí)的NoSQL數(shù)據(jù)庫，提供了HBase、OpenTSDB、GeoMesa接口，其中OpenTSDB和GeoMesa作為時(shí)序和時(shí)空數(shù)據(jù)庫為IoT行業(yè)而生，為時(shí)序和時(shí)空數(shù)據(jù)的高吞吐量的寫入和查詢提供了解決方案。

高性能時(shí)序數(shù)據(jù)庫

基于對(duì)分布式架構(gòu)系統(tǒng)的良好支持和完善的生態(tài)，CloudTable選擇了OpenTSDB作為時(shí)序數(shù)據(jù)庫內(nèi)核，并做了軟硬件的垂直性能優(yōu)化，可以支持***別的寫入吞吐量和百萬數(shù)據(jù)點(diǎn)3秒之內(nèi)的讀取性能，很好的解決物聯(lián)網(wǎng)領(lǐng)域海量數(shù)據(jù)寫入和讀取性能的問題。

同時(shí)，時(shí)序數(shù)據(jù)庫還提供了三種常用計(jì)算：插值、降精度和聚合。

對(duì)于每秒都上報(bào)的數(shù)據(jù)，其中某一秒的數(shù)據(jù)因?yàn)槟承┰騺G失了，則可以通過插值進(jìn)行補(bǔ)齊。如下圖紅色框內(nèi)的點(diǎn)（圖a），對(duì)綠色線條和紅色線條的值進(jìn)行求和聚合計(jì)算，如果沒有插值，則會(huì)出現(xiàn)結(jié)果突變的情況，如果進(jìn)行了插值則是比較好的效果（圖b）

圖a 無插值求和結(jié)果 圖b 插值求和結(jié)果

降精度有助于提升查詢效率，同時(shí)可以提供更加清晰的曲線信息給在線應(yīng)用。

圖a 原始時(shí)序數(shù)據(jù) 圖b 降精度之后數(shù)據(jù)

時(shí)序數(shù)據(jù)庫中的聚合和傳統(tǒng)數(shù)據(jù)庫的聚合還有一些差異。時(shí)序數(shù)據(jù)庫中聚合是將多個(gè)獨(dú)立的時(shí)間線聚合成一個(gè)數(shù)據(jù)時(shí)間序列，類似于SQL里面的group by，但是此處的aggregation是按照每個(gè)時(shí)間戳和分組進(jìn)行聚合。降精度計(jì)算中也可以使用不同的聚合函數(shù)進(jìn)行降精度，而每個(gè)聚合函數(shù)中不僅會(huì)包含聚合的函數(shù)，也會(huì)包含插值的函數(shù)，對(duì)于缺失的數(shù)據(jù)，可以采用插值后的數(shù)據(jù)進(jìn)行聚合。

時(shí)空數(shù)據(jù)庫

華為云CloudTable引入了地理大數(shù)據(jù)處理套件GeoMesa，可以幫助物聯(lián)網(wǎng)存儲(chǔ)和分析海量時(shí)空(spatio-temporal)數(shù)據(jù)，提供軌跡查詢、區(qū)域分布統(tǒng)計(jì)、區(qū)域查詢、密度分析、聚合、OD分析等功能。

GeoMesa基于Geohash編碼以及空間填充曲線的理論基礎(chǔ)，做到了將二維經(jīng)緯度轉(zhuǎn)換成一維字符串，將三維時(shí)空（經(jīng)緯度和時(shí)間）轉(zhuǎn)換成一維字符串，為高性能查詢打下了基礎(chǔ)。

通過CloudTable中GeoMesa，對(duì)于物聯(lián)網(wǎng)中時(shí)空維度的查詢簡(jiǎn)單有效，舉個(gè)例子，比如

1. 早上7點(diǎn)-9點(diǎn)，有哪些人/車出現(xiàn)在深圳市龍崗區(qū)坂田？
2. 早上7點(diǎn)-9點(diǎn)，從深圳市南山區(qū)到深圳市龍崗區(qū)坂田的人/車的軌跡是怎么樣的？
3. 晚上5:30-7:30，深圳市龍崗區(qū)坂田的人/車的軌跡是怎么樣的？

圖示為基于時(shí)空數(shù)據(jù)庫服務(wù)用CQL實(shí)現(xiàn)區(qū)域分析

通過以上的一些查詢，可以分析出行人/車的出行規(guī)律，進(jìn)而進(jìn)行附近的健身房、餐館、娛樂設(shè)施的推薦；分析出住宅區(qū)、工作區(qū)的聚集地；分析出同行的人的數(shù)量，抽象出公共巴士的路線，優(yōu)化公共交通路線等等。通過時(shí)空數(shù)據(jù)的查詢和分析可以進(jìn)一步挖掘出時(shí)空數(shù)據(jù)背后的價(jià)值。

Cloud2.0時(shí)代，越來越多的企業(yè)關(guān)注如何提升應(yīng)用上云效率的同時(shí)，也在聚焦新技術(shù)給現(xiàn)行業(yè)務(wù)帶來的創(chuàng)新與改變。華為云實(shí)時(shí)流計(jì)算和時(shí)空數(shù)據(jù)庫幫助行業(yè)伙伴與客戶輕松實(shí)現(xiàn)IoT場(chǎng)景下時(shí)空時(shí)序數(shù)據(jù)的實(shí)時(shí)計(jì)算、存儲(chǔ)和查詢，為IoT海量數(shù)據(jù)和業(yè)務(wù)應(yīng)用之間架起一道橋梁。除此之外，IoT場(chǎng)景還有很多即有趣又豐富的業(yè)務(wù)，華為云EI企業(yè)智能提供了豐富的大數(shù)據(jù)和AI服務(wù)，比如機(jī)器學(xué)習(xí)服務(wù)、圖引擎服務(wù)、深度學(xué)習(xí)服務(wù)等，將攜手與行業(yè)伙伴共同擴(kuò)展更多能力，豐富更多算法和模型，從而打開IoT***可能。

點(diǎn)擊了解華為云EI: https://www.huaweicloud.com/ei