新一代車聯(lián)網(wǎng)數(shù)據(jù)基座架構(gòu) - 基于 YMatrix 的優(yōu)秀實踐
一、趨勢:撥云見日
1、數(shù)智化轉(zhuǎn)型
數(shù)智化,包括了數(shù)字化與智能化;其中數(shù)字化是基礎(chǔ),智能化是目標(biāo)。
數(shù)智化帶來的價值主要包括兩個部分:
- 一個是大型工業(yè)企業(yè)普遍關(guān)注的降本增效,能給企業(yè)帶來實際的、可衡量的收益。
- 另一個是為用戶提供創(chuàng)新體驗,數(shù)智化具備提供給用戶“從無到有”這樣全新體驗的能力。
數(shù)智化的實踐方向為,將企業(yè)核心從物理世界為主、信息系統(tǒng)為輔的形態(tài),轉(zhuǎn)換為數(shù)字世界為主、線下環(huán)節(jié)為輔的形態(tài),即數(shù)字原生企業(yè)。
具體的實施路線是要將數(shù)據(jù)作為企業(yè)核心生產(chǎn)要素和戰(zhàn)略資源,實現(xiàn)數(shù)據(jù)資產(chǎn)化和數(shù)據(jù)經(jīng)營化。并且通過全鏈路全要素數(shù)據(jù)打通,實現(xiàn)對全生命周期的產(chǎn)品、流程和服務(wù)進行數(shù)智化管理,并實現(xiàn)數(shù)據(jù)的實時分析和應(yīng)用,從而為企業(yè)帶來更高的生產(chǎn)效率、更低的成本,從而為客戶帶來更好的體驗。
2、智能網(wǎng)聯(lián)汽車
智能網(wǎng)聯(lián)汽車(Intelligent Connected Vehicle,ICV)這一概念是由“智能化”和“網(wǎng)聯(lián)化”這兩個概念組成的。其中,“智能化”是目標(biāo),“網(wǎng)聯(lián)化”是手段與前提。
“智能化”不是簡單的有和無,而是涵蓋從數(shù)據(jù)監(jiān)控到安全舒適、節(jié)能、高效行駛,再到智能駕駛、智能出行,是一個量變的過程;其中每一項技術(shù)都會隨著時間推移逐漸變化和完善,同樣也是個量變的過程。
“智能化”每個階段的突破都對“網(wǎng)聯(lián)化”有著更高的要求,如搭載更先進的車載傳感器、控制器、執(zhí)行器等裝置,以及融合更先進、更高效的通信技術(shù)與數(shù)據(jù)分析處理技術(shù);因此,“智能化”需要以“網(wǎng)聯(lián)化”作為基礎(chǔ)。
3、智能網(wǎng)聯(lián)汽車數(shù)智化轉(zhuǎn)型
具體到智能網(wǎng)聯(lián)汽車行業(yè)的數(shù)智化轉(zhuǎn)型,有以下幾點體會:
- 討論智能網(wǎng)聯(lián)汽車數(shù)智化轉(zhuǎn)型,不能局限于車聯(lián)網(wǎng)的搭建,而是要著眼于更高的維度。車聯(lián)網(wǎng)更多是強調(diào)服務(wù)和運維階段,而車輛的生產(chǎn)制造階段也需要通過智能化手段去關(guān)注,甚至要更進一步考慮生產(chǎn)制造數(shù)據(jù)與車聯(lián)網(wǎng)運營數(shù)據(jù)的聯(lián)合。
- 要從車輛生產(chǎn)制造、營銷服務(wù)全流程到企業(yè)經(jīng)營層進行全面思考,包括如何在技術(shù)體系、組織關(guān)系上對轉(zhuǎn)型提供有效的支撐。
上圖中可以看出,對于智能網(wǎng)聯(lián)汽車數(shù)智化轉(zhuǎn)型的應(yīng)用平臺,相對通用的能力主要是私有云的基礎(chǔ)能力,包括私有云基礎(chǔ)設(shè)施、應(yīng)用運維中心、安全保障中心的建設(shè)能力等;在私有云能力的基礎(chǔ)上,深入著手落實卓越的數(shù)據(jù)平臺,統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)定義,以及數(shù)據(jù)原生組織協(xié)作機制等,最終形成統(tǒng)一能力開放平臺,賦能用戶創(chuàng)新,實現(xiàn)企業(yè)價值。
二、價值:日月長新
1、車聯(lián)網(wǎng)賦能全面升級售后服務(wù)體驗
- 為客戶提供更加個性化、定制化的售后服務(wù),包括車輛駕控功能服務(wù)、車輛后市場服務(wù)、出行服務(wù)、生態(tài)服務(wù)等,讓車輛的售賣和維保不是價值呈現(xiàn)的終點,同時提高客戶忠誠度并增強車企品牌形象與競爭力。
- 借助全周期數(shù)字化運維平臺,將場景數(shù)據(jù)、車輛數(shù)據(jù)等回傳信息處理整合分發(fā)至數(shù)據(jù)需方。
- 數(shù)據(jù)需方包括整車廠研發(fā)部門、4S店運維部門、第三方服務(wù)部門等。
- 各數(shù)據(jù)需方基于各自領(lǐng)域的算法和應(yīng)用為客戶提供數(shù)字化服務(wù),共同組成數(shù)字生態(tài),完成客戶的體驗升級。
2、車輛行駛過程與運行模式分析
- 車聯(lián)網(wǎng)數(shù)據(jù)分析的基礎(chǔ)是車輛狀態(tài)的判定,如按靜置、充電、行駛等狀態(tài)分段,大量的后續(xù)算法依賴于此。
- 而車輛行駛狀態(tài)的判定需要逐行、前后行的數(shù)據(jù)變化判定,這依賴于面向過程語言的分析。
- 車聯(lián)網(wǎng)海量數(shù)據(jù)分析的難點是如何將面向單車的、面向過程的算法應(yīng)用于所有待分析的車輛且分析過程高效。
上表列出車輛行駛過程部分關(guān)鍵變量,以及核心的預(yù)警邏輯,用來判斷典型的故障預(yù)警,包括充放電過程預(yù)警、溫度預(yù)警、SOC預(yù)警等;并將核心預(yù)警邏輯從算法中被剝離出來,形成智能巡檢,將算法結(jié)果推送給運維人員。
3、基于機理與大數(shù)據(jù)的車輛故障預(yù)測性維護
- 預(yù)測性維護是技術(shù)方向,也是服務(wù)理念,其價值即包含顯性的降本增效,也包含隱性的客戶滿意度。
- 基于融合車輛設(shè)計階段、試驗階段的數(shù)據(jù)平臺。通過機理與大數(shù)據(jù)技術(shù)的結(jié)合,將其理論建模與實際數(shù)據(jù)相結(jié)合,針對關(guān)鍵部件部署預(yù)測性維護算法。
- 分析不同的工況下的數(shù)據(jù)表現(xiàn),在部件發(fā)生故障前定位問題,提前介入維護,降低整體風(fēng)險與成本。
- 提高車主對信息的掌控度,讓車主更自由的安排維修保養(yǎng),把客戶滿意度提升到新的維度。
4、預(yù)測性維護常見技術(shù)路線——機理+大數(shù)據(jù)
以一個人為例,一個人在100米跑、1公里跑、20公里跑的狀態(tài)下,以及在安靜狀態(tài)、吃飯狀態(tài)、睡眠狀態(tài)下,都會有各項的指標(biāo)。以心跳為例,傳統(tǒng)的指標(biāo)是定義一個固定的閾值(比如170或180這樣的數(shù)值)作為上限,測量數(shù)值一旦達到上限就報警,這是最基本的閾值管理;然而實際上,如果一個人在睡眠狀態(tài)下心跳達到了100甚至110,就可以判斷其狀態(tài)不正常了,而這個是傳統(tǒng)閾值所檢測不到的。
回到上圖汽車的例子,旋轉(zhuǎn)軸承的偏心是其中的一個測量變量,如果使用單閾值的方式,那就只會在軸承偏心超過一定閾值的情況下報警;而如果將偏心結(jié)合壓力、速度、溫度等因素綜合考慮,在一定的狀態(tài)下,當(dāng)其他取值在一定范圍內(nèi)而偏心過高的情況下,軸承就已經(jīng)存在問題,這種方法比通過單一閾值的方法能夠更早地發(fā)現(xiàn)問題,從而更早地介入處理,間接節(jié)省了部件的成本。
因此,預(yù)測性維護的主要技術(shù)方式是:
- 基于數(shù)字孿生的預(yù)測性維護=異常識別(預(yù)測模型)+故障推導(dǎo)(故障機理)。
- 收集豐富工況下物理對象的狀態(tài)矩陣,并將它們匯聚成基準(zhǔn)狀態(tài)空間,即為數(shù)據(jù)驅(qū)動的數(shù)字孿生模型。
- 此模型能夠根據(jù)當(dāng)前工況,預(yù)測出這個工況下狀態(tài)“應(yīng)該”是怎么樣的,通過它與現(xiàn)實狀態(tài)的偏差識別異常。
- 根據(jù)異常指標(biāo)的組合,結(jié)合專家知識,判定可能的異常根因和應(yīng)對方法。
5、基于生產(chǎn)工序數(shù)據(jù)的準(zhǔn)確溯源追溯
生產(chǎn)制造領(lǐng)域,最核心的一點是對生產(chǎn)數(shù)據(jù)進行準(zhǔn)確的溯源追溯。
- 提升車企的品牌信譽和消費者信任度,降低企業(yè)的召回風(fēng)險和成本,提高效率和運營管理水平,實現(xiàn)可持續(xù)發(fā)展。
- 由于不確定哪些產(chǎn)品和原料會在未來產(chǎn)生問題,因此在部署追溯系統(tǒng)的過程中,不能是特定產(chǎn)品與原料的簡單覆蓋。
- 通過全量生產(chǎn)數(shù)據(jù)接入與高效的關(guān)聯(lián)分析,讓追溯達到對生產(chǎn)環(huán)節(jié)的“人、機、物、料、法、環(huán)”更全面的覆蓋效果。
通過溯源追溯,把整個生產(chǎn)工序中包括原料、工序、成品等每個環(huán)節(jié)的輸入和輸出串聯(lián)起來,不僅可以實現(xiàn)故障的溯源追溯,更重要地是實現(xiàn)更全面的全生命周期管理。
6、業(yè)財融合與生產(chǎn)過程監(jiān)控
業(yè)財融合與生產(chǎn)過程監(jiān)控的意義在于:
- 通過融合采購、工廠運營、人力資源與生產(chǎn)制造數(shù)據(jù),建立業(yè)財融合體系,實現(xiàn)業(yè)務(wù)與財務(wù)視角的統(tǒng)一。
- 讓生產(chǎn)制造運營者可以及時發(fā)現(xiàn)并解決產(chǎn)線各類問題根因確保產(chǎn)能,直觀透明的成本投入產(chǎn)出呈現(xiàn)為降本指明了方向。
- 通過實時匯聚各生產(chǎn)執(zhí)行系統(tǒng)數(shù)據(jù)并與歷史進行對比,強化生產(chǎn)過程流程監(jiān)控,優(yōu)化信息化系統(tǒng)的接口和對接,建立可視化可追蹤、高度柔性的生產(chǎn)過程監(jiān)控,解決生產(chǎn)執(zhí)行中的異常無法及時發(fā)現(xiàn),影響生產(chǎn)效率等實際問題。
7、基于產(chǎn)品指標(biāo)的工藝優(yōu)化
通過前后工序的關(guān)聯(lián)整合,分析生產(chǎn)過程中同一類設(shè)備在某一工序各項指標(biāo)的歷史表現(xiàn),通過現(xiàn)象促使我們追溯機理,進而實現(xiàn)基于產(chǎn)品指標(biāo)的工藝優(yōu)化:
- 基于各生產(chǎn)基地、前后工序的數(shù)據(jù)互聯(lián)互通與匯聚融合。
- 通過對產(chǎn)品生產(chǎn)制造前后相關(guān)工序的工藝參數(shù)與對應(yīng)產(chǎn)品的檢測指標(biāo)數(shù)據(jù)進行批量分析。
- 洞察過程控制指數(shù)的同時,可以在頂層視角發(fā)現(xiàn)潛在的關(guān)聯(lián)關(guān)系與規(guī)律,如車身沖壓、焊接參數(shù)對總裝的影響。
- 進一步地,通過生產(chǎn)工藝參數(shù)與產(chǎn)品運維階段數(shù)據(jù)的批量聯(lián)合分析,找尋潛在關(guān)聯(lián)。
- 從實際的產(chǎn)品數(shù)據(jù)表現(xiàn)找到可信的工藝參數(shù)優(yōu)化方向。
以下圖為例,也許設(shè)備的數(shù)據(jù)在單一維度下的觀測值(均值、方差、離散系數(shù)、箱線圖等)并不“突出”,但是當(dāng)統(tǒng)計維度發(fā)生變化,通過“類比”可以發(fā)現(xiàn)設(shè)備的異常:
首先基于其中一套工序的SN,通過裝配關(guān)系表將其遞歸到另一套工序的SN;然后通過另一套工序或設(shè)備進行分組統(tǒng)計后續(xù)工序中的整體表現(xiàn),這樣可以得到在前序工序下不同設(shè)備、不同工藝參數(shù)選擇對后續(xù)帶來的影響。
三、痛點:知易行難
1、頂層痛點:理念難統(tǒng)一,價值難量化
企業(yè)轉(zhuǎn)型升級的愿景是美好的,但現(xiàn)實的道路卻荊棘密布。根據(jù)麥肯錫對全球800多家傳統(tǒng)企業(yè)的數(shù)字化轉(zhuǎn)型調(diào)研,大約70%的企業(yè)停留在轉(zhuǎn)型試點階段,無法實現(xiàn)價值和競爭力的突破。轉(zhuǎn)型階段性成功的更是少之又少。
- 缺少合理的頂層設(shè)計,點狀應(yīng)用難以集成。
- 數(shù)據(jù)基礎(chǔ)差,制約智能化創(chuàng)新。
- 技術(shù)應(yīng)用難以突破試點。
數(shù)智化轉(zhuǎn)型其本質(zhì)的難點在于其價值鏈過長:沒有一個老板不支持?jǐn)?shù)智化轉(zhuǎn)型,但沒有?個老板無條件支持?jǐn)?shù)智化轉(zhuǎn)型。因此,好的轉(zhuǎn)型既要高瞻遠矚,又要腳踏實地;既要短期有效果,又要長期有視野。
2、底層痛點:缺乏適用于數(shù)智化轉(zhuǎn)型的數(shù)據(jù)基礎(chǔ)設(shè)施
上述痛點具體到工業(yè)行業(yè),主要的現(xiàn)狀在于缺乏適用于數(shù)智化轉(zhuǎn)型的數(shù)據(jù)基礎(chǔ)設(shè)施:
(1)業(yè)務(wù)單元和應(yīng)用場景多樣:
研發(fā)中心、售后診斷、報警預(yù)警、數(shù)字汽車、電子圍欄、駕駛行為分析、電耗分析、充放電分析、駕駛循環(huán)等各個部門都對數(shù)據(jù)有需求,且需求各不相同。
(2)數(shù)據(jù)量大指標(biāo)多:
- 生產(chǎn)溯源數(shù)據(jù)隨產(chǎn)量和時間膨脹,傳統(tǒng)平臺觸達存儲計算瓶頸;
- 車機信號可達每天幾十億條,指標(biāo)從幾百到幾千,寫入量大,容易延遲。
(3)采集和上報頻率多樣:
固定采集和變化采集,實時上報和延遲上報,延遲上報時間不可控。
(4)數(shù)據(jù)類型與數(shù)據(jù)分析多樣:
車機、埋點、GPS等數(shù)據(jù),涉及時序、文本、JSON、地理位置等類型數(shù)據(jù)。
(5)數(shù)據(jù)處理、分析效率低:
膠水代碼泛濫,執(zhí)行緩慢,影響判斷時效,影響迭代進程。
具體到架構(gòu)實現(xiàn)角度看,數(shù)據(jù)往往通過消息中間件進入系統(tǒng),進而通過Hadoop體系進入HBase、Flink、MySQL、ES等架構(gòu)。然而,不同的組件、不同的技術(shù)棧會帶來很大的數(shù)據(jù)遷移成本以及運維成本,導(dǎo)致整個過程效率低下:
- 數(shù)據(jù)接入慢,數(shù)據(jù)遷移難。
- 技術(shù)棧膨脹,開發(fā)迭代慢。
四、方案:滴水石穿
1、制造服務(wù)融合數(shù)字化轉(zhuǎn)型架構(gòu)
智能網(wǎng)聯(lián)汽車數(shù)智化轉(zhuǎn)型中所產(chǎn)生的價值,依然可以從職能上劃分各自領(lǐng)域,但具體的實現(xiàn)已經(jīng)離不開業(yè)務(wù)間的數(shù)據(jù)融合,融合甚至跨越制造與服務(wù)的界限,貫穿整個鏈路。與其說數(shù)據(jù)孕育智能,不如說信息融合孕育智能。因此,信息的交互不僅僅需要簡單的數(shù)據(jù)互通,其數(shù)量、質(zhì)量、分布、多樣性、標(biāo)簽缺?不可。數(shù)據(jù)標(biāo)準(zhǔn),數(shù)據(jù)質(zhì)量的作用不容忽視。
如上圖所示,生產(chǎn)制造大數(shù)據(jù)平臺和車聯(lián)網(wǎng)大數(shù)據(jù)平臺基于統(tǒng)一的數(shù)據(jù)基座進行多源異構(gòu)數(shù)據(jù)的交互和融合。
生產(chǎn)制造大數(shù)據(jù)平臺的數(shù)據(jù)主要來自MES系統(tǒng),上層基于MES系統(tǒng)中各地各類業(yè)務(wù)數(shù)據(jù)、設(shè)備指標(biāo)數(shù)據(jù)、設(shè)備狀態(tài)數(shù)據(jù)以及生產(chǎn)過程數(shù)據(jù),完成產(chǎn)品溯源、業(yè)財融合、供應(yīng)商管理、預(yù)測性維護等業(yè)務(wù)。
而車聯(lián)網(wǎng)大數(shù)據(jù)平臺內(nèi)部基于服務(wù)器內(nèi)置的數(shù)據(jù)回傳模塊(T-Box),實現(xiàn)客戶關(guān)系管理以及邊緣數(shù)據(jù)落地等功能,最終完成數(shù)字化營銷、產(chǎn)品運營與健康管理、智能網(wǎng)聯(lián)汽車預(yù)測性維護等業(yè)務(wù)。
(1)車企智能制造頂層數(shù)智架構(gòu)
如上圖所示,各地各業(yè)務(wù)數(shù)據(jù)建立本地MES系統(tǒng),包括生產(chǎn)運營系統(tǒng)、運籌執(zhí)行系統(tǒng)、全面運營管理等,在邊緣數(shù)倉完成本地業(yè)務(wù)的處理;各邊緣數(shù)倉的數(shù)據(jù)回傳匯聚至總部數(shù)據(jù)平臺,由總部統(tǒng)一提供各類應(yīng)用能力;邊緣端也具備應(yīng)用能力,但僅限本地數(shù)據(jù)。
(2)智能網(wǎng)聯(lián)汽車頂層數(shù)智架構(gòu)
車聯(lián)網(wǎng)的底層架構(gòu)不同于智能制造,因為車聯(lián)網(wǎng)數(shù)據(jù)是存儲至大數(shù)據(jù)集群的。通過數(shù)據(jù)網(wǎng)關(guān),通過Kafka或?qū)ο蟠鎯?,再?jīng)過消費程序進行必要的數(shù)據(jù)清洗,然后進行負(fù)載均衡處理并入庫,最終匯聚到大數(shù)據(jù)集群中。
經(jīng)過以上一套流程,數(shù)據(jù)全部存儲至數(shù)據(jù)庫中;上層應(yīng)用首先基于各項業(yè)務(wù),從操控、使用、性能、用戶行為、環(huán)境、工況等各個維度進行特征提取,從各自視角構(gòu)建數(shù)據(jù)明細(xì)層,供上層算法分析使用。
算法分析包括以下三大類算法:
- 指標(biāo)探索:對數(shù)據(jù)指標(biāo)進行最新值查詢、窗口回溯、聚合計算等操作、或者基于幾個指標(biāo)的函數(shù)進行業(yè)務(wù)指標(biāo)的二次開發(fā),通過 API 對外提供接口服務(wù);例如:最新值、峰值、峰值差、跳變,聚合等等;
- 數(shù)字汽車:為每輛車進行數(shù)字孿生建模,記錄每輛車的全量數(shù)據(jù)并進行統(tǒng)計分析,勾勒出用戶的通行習(xí)慣,創(chuàng)建用畫像,如:互聯(lián)網(wǎng)日常通勤族、接送孩子的家庭用戶等等標(biāo)簽,為個性化的用戶服務(wù)提供支撐;
- 報表分析:提供日常經(jīng)營報表分析,并為數(shù)據(jù)科學(xué)家提供平臺,實現(xiàn)算法建模,面向全量運營車輛分析發(fā)掘共性問題,以數(shù)據(jù)驅(qū)動整體運營效率。
更上層的業(yè)務(wù)應(yīng)用包括售后服務(wù)、行為預(yù)警、軌跡查詢、車險優(yōu)化、充電樁選址等業(yè)務(wù)。
(3)適合數(shù)智化轉(zhuǎn)型的人員組織架構(gòu)調(diào)整,位置決定視角
下面分享一個華為數(shù)據(jù)之道中采用的數(shù)字化的架構(gòu)。
①數(shù)據(jù) Owner
公司級:
- CDO(首席數(shù)字官)
領(lǐng)域級:
- 實線匯報質(zhì)量運營部
- 虛線匯報公司級數(shù)據(jù) Owner
②數(shù)據(jù)管理部
公司級:
- 實線匯報質(zhì)量與流程IT管理部
- 虛線匯報公司級數(shù)據(jù) Owner
領(lǐng)域級:
- 實線匯報業(yè)務(wù)領(lǐng)域 GPO
- 虛線匯報公司數(shù)據(jù)管理部
內(nèi)部角色:
- 信息架構(gòu)工程師
- 數(shù)據(jù)治理工程師
- 數(shù)據(jù)平臺工程師
- 數(shù)據(jù)分析師
- 數(shù)據(jù)科學(xué)家
上述架構(gòu)的一個特點是:有專門的數(shù)據(jù)owner和數(shù)據(jù)管理部。上述架構(gòu)僅供參考,不一定每個企業(yè)都要照搬上述架構(gòu),而是需要思考:在實際數(shù)字化轉(zhuǎn)型過程中,部門間的協(xié)作有沒有因為企業(yè)架構(gòu)而帶來阻礙?如果有,就需要做出改變。
2、統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)與模型,統(tǒng)一數(shù)字“語言”
(1)數(shù)據(jù)標(biāo)準(zhǔn):確保數(shù)據(jù)一致的關(guān)鍵
如上圖中左表所示,不同的部門對同一客觀事物的描述用詞會存在差異性,因此存入數(shù)據(jù)庫就會出現(xiàn)不同的字段,這樣會給后期聯(lián)合分析帶來極大的麻煩;因此,制定企業(yè)內(nèi)部的數(shù)據(jù)標(biāo)準(zhǔn),是確保數(shù)據(jù)一致的關(guān)鍵。
(2)數(shù)據(jù)模型:對數(shù)據(jù)和關(guān)系的描述
除了構(gòu)建統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn),還需要構(gòu)建數(shù)據(jù)模型,從數(shù)據(jù)視角對現(xiàn)實世界進行特征的模擬和抽象,根據(jù)業(yè)務(wù)需求抽取信息的主要特征,反映業(yè)務(wù)信息(對象)之間的關(guān)聯(lián)信息,實現(xiàn)對數(shù)據(jù)和關(guān)系的描述。
以一臺車為例,在這套數(shù)據(jù)模型體系下,通過車輛編號、地理位置、客戶信息、制造數(shù)據(jù)、運營數(shù)據(jù)等維度將這輛車的整體信息描述出來,這是實現(xiàn)將生產(chǎn)、制造和運維階段的數(shù)據(jù)進行融合的基礎(chǔ)。
3、卓越數(shù)據(jù)基座,滿足海量數(shù)據(jù)存儲、計算、分析與融合
第三個基礎(chǔ)是構(gòu)建卓越的數(shù)據(jù)基座,要滿足以下能力:
- 海量數(shù)據(jù)接入能力
- 各類數(shù)據(jù)場景處理能力
- 實時計算能力
- 高效執(zhí)行可預(yù)計的批量任務(wù)
- 不可預(yù)計的臨時任務(wù)開發(fā)方便
- 豐富的數(shù)據(jù)分析方法支持
- 標(biāo)準(zhǔn)開發(fā)語言,低門檻,可傳承
- 安全穩(wěn)定的數(shù)據(jù)服務(wù)
4、YMatrix 超融合數(shù)據(jù)庫
傳統(tǒng)的數(shù)據(jù)架構(gòu)類似“搭積木”,結(jié)構(gòu)復(fù)雜,不易維護;四維縱橫自研產(chǎn)品——YMatrix 超融合數(shù)據(jù),基于多核數(shù)據(jù)庫技術(shù),使用一款數(shù)據(jù)庫支持幾乎所有數(shù)據(jù)類型的所有操作,可實現(xiàn)時序明細(xì)、最新值、關(guān)聯(lián)查詢、實時分析、離線分析等功能,大大提高了數(shù)據(jù)的查詢分析效率。
5、YMatrix超融合數(shù)據(jù)庫架構(gòu)
YMatrix數(shù)據(jù)庫支持所有存儲類型的所有操作,外圍工作(Dirty Job)只需完成?次,不斷迭代。
下圖是YMatrix超融合數(shù)據(jù)庫的整體架構(gòu),將車輛制造數(shù)據(jù)和運行數(shù)據(jù)接入到系統(tǒng)中,系統(tǒng)通過多模引擎支撐不同的數(shù)據(jù)類型和不同的數(shù)據(jù)操作方式,內(nèi)建python、SQL、C等不同分析語言,通過接口支撐前端開發(fā)應(yīng)用和數(shù)字化應(yīng)用。
6、性能卓越、分析高效,快速實現(xiàn)數(shù)據(jù)洞察
下面以幾個例子來說明YMatrix的性能:
- YMatrix TPCH數(shù)倉性能為 HIVE 的26.7倍。
- YMatrix 的TPCB測試并發(fā)性能超 150 萬 TPS。
- YMatrix SSB 性能優(yōu)于 ClickHouse 30%以上。
7、SQL 內(nèi)建面向分析與查詢,計算貼近數(shù)據(jù)
對于車聯(lián)網(wǎng)分析這一應(yīng)用場景下,使用面向過程的語言,將一輛汽車的分析流程應(yīng)用到海量汽車上,主要方法是將python代碼注冊到數(shù)據(jù)庫內(nèi)成為數(shù)據(jù)庫的內(nèi)置函數(shù),進而通過SQL的方式調(diào)用實現(xiàn)這部分功能,利用服務(wù)器資源實現(xiàn)多臺設(shè)備的并行分析,相較于傳統(tǒng)的方式會更加高效。
數(shù)據(jù)庫的內(nèi)置函數(shù)主要支持以下兩種:
(1)Python/R/Java
- 應(yīng)用Python/R/Java代碼原地處理庫內(nèi)海量數(shù)據(jù),大量函數(shù)庫支持,Pandas、Numpy等。
(2)TensorFlow/機器學(xué)習(xí)
- 使用主流AI庫對數(shù)據(jù)庫內(nèi)部海量數(shù)據(jù)原地訓(xùn)練和分析。
- 監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、統(tǒng)計分析、圖計算等。