洞悉數(shù)據(jù)價值 華為云EI大數(shù)據(jù)服務(wù)亮相技術(shù)私享會杭州站
近日,華為云技術(shù)私享會第二站在杭州舉行,來自金融、物流、教育、電子商務(wù)、物聯(lián)網(wǎng)、醫(yī)療等行業(yè)的信息部門主管、架構(gòu)師、軟件開發(fā)人員、運(yùn)維人員濟(jì)濟(jì)一堂,與華為云EI大數(shù)據(jù)產(chǎn)品的研發(fā)專家們,共同探討華為云的大數(shù)據(jù)服務(wù)如何方便快捷的存儲、處理和分析數(shù)據(jù),幫助企業(yè)挖掘數(shù)據(jù)背后的價值,提升企業(yè)的運(yùn)營能力。
華為云技術(shù)私享會是華為云面向企業(yè)CIO、技術(shù)骨干、開發(fā)者,分享云計算技術(shù)熱點、解讀華為云產(chǎn)品技術(shù)與實踐的技術(shù)盛會。2017年,華為云技術(shù)私享會在北京、上海、重慶、深圳等地舉辦了十余場活動,獲得了與會嘉賓的高度評價。2018年,華為云私享會將繼續(xù)秉承技術(shù)分享的理念,將私享會的范圍擴(kuò)大到北京、上海、廣州、杭州、福州、成都、濟(jì)南、南京、西安、武漢、重慶、石家莊等城市。本次華為云技術(shù)私享會杭州站,是華為云EI大數(shù)據(jù)產(chǎn)品的一次整體亮相。多名華為專家為現(xiàn)場觀眾分享了華為云大數(shù)據(jù)服務(wù)的技術(shù)架構(gòu)、服務(wù)能力、應(yīng)用場景及成功實踐。
華為云開放式大數(shù)據(jù)服務(wù)MRS,是“源于開源,高于開源”的開放式大數(shù)據(jù)一站式服務(wù)。華為云MRS服務(wù),是國內(nèi)大數(shù)據(jù)領(lǐng)域***的FusionInsight大數(shù)據(jù)平臺的云服務(wù)形態(tài),涵蓋Hadoop/Spark/Hive/Kafka等多種技術(shù)。并在可靠性、性能、安全等方面做了很多優(yōu)化和增強(qiáng),為企業(yè)的大數(shù)據(jù)應(yīng)用保駕護(hù)航。
華為云專家分享華為云MRS服務(wù)技術(shù)與實踐
華為云大數(shù)據(jù)存儲技術(shù)創(chuàng)新代表產(chǎn)品—CarbonData,是全球***開源社區(qū)Apache的***項目,其***的索引加速技術(shù)填補(bǔ)了大數(shù)據(jù)開源存儲技術(shù)的空白,有效推動了大數(shù)據(jù)生態(tài)發(fā)展。CarbonData提供了一種新的融合數(shù)據(jù)存儲方案,以一份數(shù)據(jù)同時支持多種應(yīng)用場景。CarbonData通過索引等加速技術(shù)讓存儲和計算物理上更接近,從而提升CPU和IO效率,實現(xiàn)萬億數(shù)據(jù)分析秒級響應(yīng)。
華為云專家分享華為云CarbonData服務(wù)技術(shù)與實踐
目前CarbonData已在全球?qū)崿F(xiàn)規(guī)模應(yīng)用,其中***的單一集群數(shù)據(jù)規(guī)模達(dá)到PB級、10萬億條記錄以上。同時,研發(fā)專家在現(xiàn)場演示了首列過濾查詢場景,CarbonData性能比Parquet快近100倍,引起了現(xiàn)場開發(fā)者極大的轟動。
研發(fā)專家現(xiàn)場演示首列過濾查詢場景代碼截圖
華為云實時流計算功能Cloud Stream Service服務(wù)(簡稱CS)是華為云上的實時流式大數(shù)據(jù)分析服務(wù),它是一個serverless的全托管服務(wù),用戶無需感知具體的計算資源,只需編寫sql便可快速構(gòu)建實時分析任務(wù)。華為云CS服務(wù)提供flink和spark streaming兩種引擎,支持共享和租戶隔離獨享集群兩種。同時,華為在Flink原生SQL上擴(kuò)展了多種領(lǐng)域?qū)S锰匦裕–EP、地理位置函數(shù)和隨機(jī)森林算法函數(shù)。開發(fā)者基于這些擴(kuò)展特性,通過簡單的代碼編寫,就可以非常方便的實現(xiàn)電子圍欄、車輛軌跡異常檢測等業(yè)務(wù)。
另外,華為云一直對Apache Spark 的技術(shù)進(jìn)行增強(qiáng),并把這些增強(qiáng)回饋給社區(qū),比如CBO增強(qiáng),多數(shù)據(jù)源聯(lián)邦分析,以及在元數(shù)據(jù)基礎(chǔ)上做的相關(guān)企業(yè)級特性增強(qiáng)等?;顒赢?dāng)天,華為云專家分享了基于Apache Spark + Apache CarbonData構(gòu)建的云上Serverless數(shù)據(jù)湖探索服務(wù)(DLI),面向客戶提供Serverless SQL 和 Serverless Spark的分析能力,在免數(shù)據(jù)搬遷的前提下實現(xiàn)多種分析范式統(tǒng)一,給用戶提供端到端數(shù)據(jù)分析、數(shù)據(jù)價值挖掘的能力。同時,專家還介紹了DLI在實際用戶場景下的多個實踐案例,重點剖析了DLI在BI分析場景和海量行為日志端到端分析場景的具體實踐方法,幫助客戶實現(xiàn)維護(hù)成本相比線下數(shù)據(jù)中心降低了70%,新業(yè)務(wù)上線周期相比線下縮短了50%。
華為云專家分享spark技術(shù)創(chuàng)新與實踐
在私享會的***環(huán)節(jié),現(xiàn)場參會嘉賓們在華為云大數(shù)據(jù)專家們的指導(dǎo)下,完成云上大數(shù)據(jù)實戰(zhàn),親自體驗了華為云大數(shù)據(jù)服務(wù)。并將自己企業(yè)遇到的大數(shù)據(jù)相關(guān)問題與專家們進(jìn)行熱烈的討論交流,獲得了專家們解惑。
華為云技術(shù)私享會杭州站活動現(xiàn)場
后續(xù),華為云技術(shù)私享會將很快在全國各地開始啟動,歡迎大家關(guān)注華為云私享會的公告,共同打造云上的技術(shù)盛宴。
點擊了解華為云EI:https://www.huaweicloud.com/ei/