Hortonworks技術骨干TedYu:我對中國大數(shù)據(jù)前景非??春?/h1> 原創(chuàng)
【51CTO.com原創(chuàng)稿件】2017年12月01日-02日,由51CTO主辦的WOTD全球軟件開發(fā)技術峰會在深圳中州萬豪酒店隆重舉行。本次峰會以軟件開發(fā)為主題,數(shù)十位專家級嘉賓將帶來多場精彩的技術內(nèi)容分享。
12月1日下午, Hortonworks高級技術成員HBase核心貢獻者Ted Yu發(fā)表了題為《The New Hbase brings new era》(創(chuàng)新的Hbase***新紀元)的精彩演講,會后51CTO記者采訪了他,請他為大家分享了他的技術經(jīng)驗談。
Hortonworks的核心成員TedYu接受采訪
2011年,雅虎剝離Hadoop業(yè)務,由雅虎主導Hadoop開發(fā)的副總裁,帶領二十幾個核心成員成立Hortonworks。作為Hortonworks的核心成員之一,TedYu參加WOT技術峰會已經(jīng)有七年的時間,一直在美國工作的他,始終堅持用英文準備演講PPT,用他的話說,他始終相信中國技術人員的能力,他所講的內(nèi)容技術性強,涉及到很多技術詞匯,輸入中文擔心翻譯不準確產(chǎn)生歧義。所以他寫英文再讓大家去查它是什么意思,像是技術詞匯,用在HBase或者其它別的地方一般不會有歧義。
談到Hbase的核心,TedYu表示,HBase是基于谷歌的Hadoop,Hadoop的DataNode公布以后,在谷歌上有很多Bigtable的產(chǎn)品,HBase的核心它原來只是NameNode,在這個核心以上,又有不同的開發(fā)人員,搭建了Apache,或者是這些相關的項目。因為這個核心原來是不支持SQL查詢的,有了這些別的項目以后,用戶還可以用SQL進行查詢,方便了很多。
談及HBase的長處和短處的話,我們知道,HBase最早是Hadoop的一個子項目,后來才成為鼎力項目。也就是說如果在客戶的集成里面已經(jīng)有HBase的話,那么選擇用HBase作為NoSQL的存儲就是非常自然的選擇。 反過來講,比如一個用戶用卡夫卡,卡夫卡根本就不用HBase,所以屬于要用別的存儲系統(tǒng)的話,HBase就可能稍微有點牽強。
TedYu還著重分析了Hbase的劣勢以及解決辦法,他說,如果HBase本身來講,它不支持SQL,但是這樣的話,對于大部分的應用來講就非常不方便,因為比如SQR有很多復雜的查詢,如果要靠用戶用HBase底層的API去完成這些復雜操作的話,是非常耗時間的,而且首先是不易攜帶,因為SQL可以很方便就改了,一下就改掉了。如果用API的話就會影響開發(fā)進度。但是好處就是別的項目就彌補了HBase這方面的不足。
隨著國內(nèi)對Hbase的接受程度越來越高,TedYu感慨良多,他非??春脟鴥?nèi)的大數(shù)據(jù)和人工智能技術發(fā)展前景。中國有廣大的人口,有非常多樣化的應用場景,它會產(chǎn)生大量的數(shù)據(jù)。在這方面我想產(chǎn)生數(shù)據(jù)的規(guī)模已經(jīng)超出了美國,像雅虎這樣的公司所處理的數(shù)據(jù)。他認為中國大數(shù)據(jù)應用有其獨特性,會導致它在相關的方面有相當大的進展。
接下來談及Hortonworks旗下重要產(chǎn)品HDP和HDF免費和開源的話題,TedYu解釋說:“全開源符合中國的國情,大家知道,去IOE化已經(jīng)提了很多年,我想IOE這三家的話,我沒有詳細關注,但我至少知道IBM的情況是不太好的,因為它除了上一個季度以外,好像很多個季度它的營業(yè)額都是下降的,這在大公司里是非常罕見的。這也是說明對于中國這么大的國家,有這么多大數(shù)據(jù),而且有的是敏感數(shù)據(jù),要自己存儲自己管理,這樣的話需要相當強的透明性,所以我覺得,這兩個是完全開源的,從理念上來講,符合中國政府要求的開放性和透明性。”
采訪***,TedYu告訴我們,開源了以后,國內(nèi)的開發(fā)者和用戶可以對Hortonworks產(chǎn)品有更加深入的了解,這樣一來,在這些項目里面,也會有所回饋,所以這應該是一個雙贏的選擇。
【51CTO原創(chuàng)稿件,合作站點轉載請注明原文作者和出處為51CTO.com】