支撐電信、金融、醫(yī)療、安全、電力等關鍵行業(yè)大數(shù)據(jù)應用的基礎軟件平臺將呈一體化形態(tài)，它以數(shù)據(jù)為中心，將操作系統(tǒng)、分布式存儲、數(shù)據(jù)庫等產(chǎn)品融合起來，對結構化、半結構化和非結構化等全數(shù)據(jù)進行高效存儲與管理，并對應用提供統(tǒng)一的數(shù)據(jù)服務支撐接口。大數(shù)據(jù)環(huán)境下的基礎軟件平臺很像一個“泛OS”，將傳統(tǒng)操作系統(tǒng)、存儲、數(shù)據(jù)庫等等產(chǎn)品和組件有機融合，做到存儲資源、計算資源等有效管理和調(diào)度，同時為上層數(shù)據(jù)應用提供統(tǒng)一、易用接口，實現(xiàn)數(shù)據(jù)采集、存儲、計算、應用等全周期的高效易用、安全可靠和易管理。

圖 1 行業(yè)大數(shù)據(jù)處理基礎軟件平臺“一體化”框架圖

國際上一體化融合的大數(shù)據(jù)處理平臺已經(jīng)成為主流趨勢。國際IT巨頭們在積極發(fā)展以平臺為核心、面向新型應用模式的一體化行業(yè)解決方案和生態(tài)系統(tǒng)。2013年，EMC公司發(fā)布了自身的Apache Hadoop發(fā)行版—Pivotal HD，它將大規(guī)模并行數(shù)據(jù)庫技術與Apache Hadoop框架集成，同時發(fā)布了一個名為HAWQ的技術，將Greenplum分析型數(shù)據(jù)庫與Hadoop分布式架構進行緊密地融合，實現(xiàn)了HDFS上SQL并行數(shù)據(jù)庫處理，提高了性能并使Hadoop平臺與SQL開發(fā)者實現(xiàn)了接軌。惠普則發(fā)布了大數(shù)據(jù)解決方案HAVEn分析平臺，該平臺是惠普大數(shù)據(jù)產(chǎn)品的組合，它整合了Hadoop/HDFS、HP Autonomy語義處理引擎、HP Vertica列存數(shù)據(jù)庫、EntERPrise Security安全技術等形成大數(shù)據(jù)處理方案。

圖 2 Pivotal HD架構圖

圖 3 HAVEn Platform結構圖

圍繞行業(yè)大數(shù)據(jù)應用構建大數(shù)據(jù)處理基礎軟件平臺的關鍵問題是如何解決結構化和非/半結構化不同類型的數(shù)據(jù)融合，以及實現(xiàn)不同類型數(shù)據(jù)處理模式的整合。單一的MPP數(shù)據(jù)庫或Hadoop產(chǎn)品一般很難滿足行業(yè)用戶對結構化和非/半結構化數(shù)據(jù)融合的業(yè)務需求，這兩種方式的界限正在實際應用部署被打破，市場上正逐步形成以全數(shù)據(jù)處理為核心，垂直整合操作系統(tǒng)、MPP數(shù)據(jù)庫、Hadoop、統(tǒng)一數(shù)據(jù)服務的基礎軟件平臺產(chǎn)品。

在國內(nèi)，業(yè)界的主流思路是：用基于MPP架構的新型數(shù)據(jù)庫集群(如EMC GreenPlum、南大通用GBase 8a、HP Vertica等)管理結構化大數(shù)據(jù)，側重于行業(yè)大數(shù)據(jù)分析型應用場景;用基于Hadoop的技術擴展和封裝(如HBase數(shù)據(jù)庫)管理非/半結構化大數(shù)據(jù)，側重于互聯(lián)網(wǎng)大數(shù)據(jù)應用場景。MPP集群與Hadoop產(chǎn)品混搭部署、相互融合，共同支撐大數(shù)據(jù)應用。

MPP與Hadoop的應用融合是大數(shù)據(jù)處理基礎軟件平臺需要解決的一個核心技術問題。為了讓平臺能夠更好地支撐行業(yè)大數(shù)據(jù)應用，不改變用戶習慣的SQL這種更易于理解的、交互性更好的訪問接口，架構需要以MPP數(shù)據(jù)庫及計算框架為核心，將MPP運算調(diào)度引擎完全融入非關系型運算調(diào)度框架，實現(xiàn)可以同時調(diào)度關系運算和非關系運算的調(diào)度引擎，構建統(tǒng)一的結構化信息提取和數(shù)據(jù)類型轉換框架，將非/半結構化數(shù)據(jù)映射為關系模型，實現(xiàn)面向關系模型的全數(shù)據(jù)統(tǒng)一視圖，從而平滑的實現(xiàn)MPP數(shù)據(jù)庫和Hadoop的統(tǒng)一調(diào)度和處理，為新型的基礎軟件平臺和上層應用提供數(shù)據(jù)服務。

當前，國家的大數(shù)據(jù)戰(zhàn)略、信息安全戰(zhàn)略，以及大數(shù)據(jù)行業(yè)應用引發(fā)了對國產(chǎn)大數(shù)據(jù)處理基礎軟件平臺的強勁需求。國產(chǎn)基礎軟件廠商應協(xié)同作戰(zhàn)，抓緊市場與技術的雙重時機，發(fā)展國產(chǎn)化大數(shù)據(jù)處理基礎軟件平臺，并在國計民生的大數(shù)據(jù)應用系統(tǒng)中成為重要支撐。與此同時，在關鍵發(fā)展時間窗，國家應及時給予大力支持和幫助，避免大數(shù)據(jù)領域基礎軟件平臺幾年后再次走上“國產(chǎn)化”替代的老路。