星環(huán)發(fā)布hadoop平臺(tái) TDH4.0 全面通過TPC-DS測(cè)試
2014年12月12日,由中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)主辦,CCF大數(shù)據(jù)專家委員會(huì)承辦,中科院計(jì)算所與CSDN共同協(xié)辦的 2014中國(guó)大數(shù)據(jù)技術(shù)大會(huì)(Big Data Technology Conference 2014,BDTC 2014)在北京拉開帷幕。星環(huán)信息科技(上海)有限公司(以下簡(jiǎn)稱星環(huán)科技)參會(huì),CTO孫元浩發(fā)表了題為“2015年大數(shù)據(jù)基礎(chǔ)技術(shù)的演進(jìn)趨勢(shì)“的主題演講。 大會(huì)匯聚了近千位大數(shù)據(jù)行業(yè)的CIO、CTO、架構(gòu)師、IT經(jīng)理、工程師、Hadoop技術(shù)愛好者,以及從事Hadoop研究與推廣的IT廠商和技術(shù)專家等,共同探討時(shí)下***技術(shù)熱點(diǎn),大數(shù)據(jù)生態(tài)圈技術(shù)的發(fā)展與演變。
星環(huán)科技孫元浩在BDTC大會(huì)做主體演講
孫元浩的演講分析了大數(shù)據(jù)基礎(chǔ)技術(shù)的***進(jìn)展,并基于星環(huán)科技在大數(shù)據(jù)基礎(chǔ)軟件的研發(fā)經(jīng)驗(yàn)和中國(guó)大數(shù)據(jù)應(yīng)用的進(jìn)展,作出2015年大數(shù)據(jù)基礎(chǔ)技術(shù)演進(jìn)方向的預(yù)測(cè)。”孫元浩表示:“大數(shù)據(jù)基礎(chǔ)軟件技術(shù)在過去幾年中得到了飛速發(fā)展,從Hadoop誕生至今,幾乎每一年都有突破性的技術(shù)進(jìn)展,2008-2009年Hadoop解決擴(kuò)展性瓶頸,開始達(dá)到5000臺(tái)以上的集群規(guī)模,2010-2011年HBase開始超越Cassandra成為穩(wěn)定高可擴(kuò)展的NoSQL數(shù)據(jù)庫,2012年多種SQL on Hadoop技術(shù)誕生,交互式SQL分析一度成為最熱門的技術(shù), 2013年 YARN資源管理框架成為多種計(jì)算框架的資源管理平臺(tái),被稱為分布式操作系統(tǒng),2014 Spark技術(shù)得到廣泛支持并即將替代Map/Reduce成為主流計(jì)算引擎。在未來的一年內(nèi),隨著硬件和軟件技術(shù)的快速發(fā)展,現(xiàn)有大數(shù)據(jù)基礎(chǔ)技術(shù)將得到快速發(fā)展和演變,必將涌現(xiàn)新的技術(shù)熱點(diǎn)***2015年的大數(shù)據(jù)生態(tài)圈。”
在談到星環(huán)科技Hadoop發(fā)行版的產(chǎn)品發(fā)展時(shí),他表示:“大數(shù)據(jù)成為時(shí)下熱門關(guān)鍵詞,對(duì)于大數(shù)據(jù)的關(guān)注度與日俱增,由于市場(chǎng)需求的不斷增加,各種前沿技術(shù)也在不斷挑戰(zhàn)自己的發(fā)展速度,星環(huán)也將緊跟大數(shù)據(jù)領(lǐng)域的***技術(shù)熱點(diǎn)和發(fā)展趨勢(shì),結(jié)合市場(chǎng)需求來推進(jìn)星環(huán)Transwarp Data Hub的研發(fā)及市場(chǎng)應(yīng)用”。
中美Hadoop發(fā)行版領(lǐng)軍人物在星環(huán)科技展臺(tái)前交流 (孫元浩:星環(huán)科技創(chuàng)始人&CTO, 與Mike Orlson:Cloudera 創(chuàng)始人&主席)
同時(shí)在本次大數(shù)據(jù)技術(shù)大會(huì)上,星環(huán)科技發(fā)布了Transwarp Data Hub(TDH)4.0版本,大幅增強(qiáng)了Transwarp Inceptor交互式SQL分析引擎、Transwarp Hyperbase實(shí)時(shí)數(shù)據(jù)庫和Transwarp Stream流計(jì)算引擎的功能和性能。
Inceptor 4.0支持SQL'99和SQL2003標(biāo)準(zhǔn),提供大部分的PL/SQL語法兼容,全新設(shè)計(jì)了內(nèi)存計(jì)算平臺(tái)Holodesk并支持?jǐn)?shù)據(jù)的動(dòng)態(tài)插入和索引,并且進(jìn)一步優(yōu)化了基于Spark的SQL引擎的執(zhí)行效率,因此相比開源 Hadoop 版本有 10x~100x 倍性能提升,可處理GB到PB級(jí)別的數(shù)據(jù)。此外Inceptor 4.0強(qiáng)化了安全方面的認(rèn)證和控制,并且整合了更多的數(shù)據(jù)挖掘算法和深度學(xué)習(xí)算法,因此可以滿足絕大部分企業(yè)用戶的數(shù)據(jù)分析、挖掘等需求。
目前TPC-DS基準(zhǔn)測(cè)試集能夠完整的在Inceptor上運(yùn)行,并且無論是測(cè)試案例數(shù)還是性能都完勝美國(guó)主流的Hadoop廠商。
HyperBase 4.0增加了基于SQL的分布式事務(wù)操作并做了大量?jī)?yōu)化,另外推出創(chuàng)新的CBI (Cost Based Indexing)技術(shù)可以讓計(jì)算引擎在查詢時(shí)能夠根據(jù)各個(gè)索引的成本來選擇最合適的查詢方案,從而有效的將查詢延時(shí)降低到百毫秒級(jí),因此可以滿足大部分的OLTP應(yīng)用場(chǎng)景。
Stream 4.0在系統(tǒng)安全和監(jiān)控方面做了重大升級(jí),增加了對(duì)Kafka消息隊(duì)列以及Spark On Yarn的Kerberos安全認(rèn)證來確保計(jì)算時(shí)的數(shù)據(jù)安全。另外Stream 4.0推出了創(chuàng)新的基于SQL的實(shí)時(shí)統(tǒng)計(jì)分析功能,可以通過SQL來做實(shí)時(shí)的分析與計(jì)算,降低了開發(fā)者準(zhǔn)入門檻。
詳情請(qǐng)見:http://transwarp.cn/news/detail?id=35
相信在眾多國(guó)內(nèi)外大數(shù)據(jù)行業(yè)從業(yè)者的參與下,大會(huì)將會(huì)成為大數(shù)據(jù)技術(shù)與應(yīng)用深度結(jié)合的新起點(diǎn),必將***新一輪大數(shù)據(jù)行業(yè)的技術(shù)風(fēng)暴。
星環(huán)科技是目前國(guó)內(nèi)極少數(shù)掌握企業(yè)級(jí)大數(shù)據(jù)Hadoop和Spark核心技術(shù)的高科技公司,從事大數(shù)據(jù)時(shí)代核心平臺(tái)數(shù)據(jù)庫軟件的研發(fā)與服務(wù)。在全球去IOE的大背景下,Hadoop技術(shù)已成為公認(rèn)的替代傳統(tǒng)數(shù)據(jù)庫的大數(shù)據(jù)產(chǎn)品。公司產(chǎn)品Transwarp Data Hub (TDH)的整體架構(gòu)及功能特性比肩硅谷同行,產(chǎn)品性能在業(yè)界處于領(lǐng)先水平。