自從2007年Facebook提出Apache Hive和HiveQL后，他們已經(jīng)成為事實上的Hadoop上的SQL接口。如今，各種類型的大公司或小公司都在使用Hive這中非常普遍的方法來訪問Hadoop數(shù)據(jù)，從而給公司或者用戶帶來更多的價值。同時，還有許多公司通過大量已存的BI工具生態(tài)系統(tǒng)來達到相同的目的，這些BI工具同樣使用Hive作為接口。

最初，Hive用于建立大規(guī)模的成批計算，這在數(shù)據(jù)報告、數(shù)據(jù)挖掘以及數(shù)據(jù)準備等應用場景很有效。這些應用場景很重要，但是Hadoop的需求十分廣闊，企業(yè)用戶越來越需要Hadooop具備更高的實時性和交互性。在Hortonworks，我們相信開源社區(qū)的創(chuàng)新力要超過任何一個專有的提供商，Stinger initiative再次證明了這一點，我們會聯(lián)合(社區(qū))伙伴一起提升Hive的性能。

什么是Stinger Initiative?

能讓Hive回答問題的速度滿足普通人(例如一個問題的返回時間在5-30秒)，如大數(shù)據(jù)探索、可視化、參數(shù)化報告等場景，而且并不依賴其它工具，并分發(fā)到用戶社區(qū)，可以很好的維護企業(yè)原有的投資和開發(fā)者的Hive技能。

圖：Stinger Initiative的roadmap

為此，我們發(fā)布了Stinger Initiative，并進入社區(qū)進行分享，為的是讓Hive支持更多SQL，并實現(xiàn)更好的性能。一直以來，HiveQL都沒有什么變化，而這次HiveQL將變得更強大。同時，與現(xiàn)有的工具保持一致形成***的互補。

首先，我們讓Hive與人們在Hadoop上想要的查詢想匹配。這包括增加類似OVER子句的分析功能，支持WHERE子查詢，以及調整Hive的樣式系統(tǒng)更多的符合標準的SQL模型。

其次，我們優(yōu)化了Hive的請求執(zhí)行計劃，我們內部某些測試結果顯示，優(yōu)化后的請求時間減少了90%。我們也著眼于在Hive執(zhí)行引擎中增加一些改動，我們確信這可以增加單一Hive task每秒鐘處理記錄的數(shù)量。

第三，我們在Hive社區(qū)中引入了新的列式文件格式(如ORC文件)，提供一種更現(xiàn)代、高效和高性能的方式來儲存Hive數(shù)據(jù)。

***，我們引入了一種新的runtime框架—— Tez，它的目標是消除Hive的延遲以及吞吐量限制。Tez通過消除不必要的task、障礙同步和對HDFS的讀寫作業(yè)來優(yōu)化Hive job。這將優(yōu)化Hadoop內部的執(zhí)行鏈，徹底加速Hive負載處理。

所有這些對Hive的調整仍在公開的進行中，內部預覽版將在今年三月舉行的由Hortonworks主辦的Hadoop大會上公開。

擁抱社區(qū)和Hive

許多不同的團隊在Hive社區(qū)貢獻著他們成果。來自SAP的Harish Butani的團隊負責為Hive增加一個分析和數(shù)據(jù)窗口函數(shù)。這個函數(shù)將增加到OVER子句中用于已經(jīng)存在的聚集函數(shù)，就像RAND、NTILE和LEAD、LAG等函數(shù)一樣， 這里可以看到詳細的說明。Facebook的Namit Jain已經(jīng)花了大量時間來優(yōu)化Hive的查需執(zhí)行計劃，這讓Join等操作變的更高效，并減少來自用戶的提示。Hortonworks已經(jīng)參與到這些項目中。

Owen O’Malley，Hortonworks聯(lián)合創(chuàng)始人，早期的Hadoop的開發(fā)者，已經(jīng)在Facebook為ORC文件格式進行了大量工作，這項工作將幫助提升Hive讀、寫、處理數(shù)據(jù)的性能，在 這里可以看到詳情。我們還在為一些更長遠的目標工作，如重寫Hive的運算符來處理上千的記錄，其效率和現(xiàn)在相比將有大幅提升。

為什么要重新造輪子呢?