阿里云產(chǎn)品介紹——開放數(shù)據(jù)處理ODPS
Ø 開放數(shù)據(jù)處理服務(wù)(Open Data Processing Service,簡稱ODPS)。ODPS是構(gòu)建在大規(guī)模分布式計算系統(tǒng)上的數(shù)據(jù)處理服務(wù)。ODPS以REST API的形式,支持用戶提交類SQL的查詢語言,對海量數(shù)據(jù)進行處理。與強調(diào)實時性的阿里云OTS 服務(wù)不同,ODPS重點面向數(shù)據(jù)量大(TB級別)且實時性要求不高的離線處理,適用于構(gòu)建數(shù)據(jù)倉庫、海量數(shù)據(jù)統(tǒng)計、數(shù)據(jù)挖掘、數(shù)據(jù)商業(yè)智能等互聯(lián)網(wǎng)應(yīng)用。
Ø ODPS的特點和優(yōu)勢
•高計算性能:海量數(shù)據(jù)存儲與大規(guī)模離線數(shù)據(jù)分析服務(wù)基于MapReduce框架支持直接使用SQL語句對海量數(shù)據(jù)進行離線分析。通過數(shù)據(jù)分裂將海量數(shù)據(jù)散布在整個集群內(nèi)部,這樣,用戶的數(shù)據(jù)容量的瓶頸問題得以解決。同時計算壓力也被平均分布在集群內(nèi)部,也很好的解決了計算性能問題。
•系統(tǒng)穩(wěn)定:系統(tǒng)提供錯誤監(jiān)控機制,對于故障采取自動遷移,采用多份備份來確保數(shù)據(jù)的安全性,系統(tǒng)達到99.95%的可用性。
•高SQL語法兼容:提供完整的sql語法支持,支持用戶復(fù)雜的數(shù)據(jù)分析需求。提供web portal, Client工具與Rest開放接口來為用戶服務(wù),用戶可以根據(jù)自己的需求選擇合適的方式來使用該服務(wù)。
•操作簡單,用戶界面友好:開放數(shù)據(jù)處理服務(wù)提供桌面式的用戶操作平臺,用戶可以通過桌面大圖標(biāo)非常便捷地找到需要使用的功能模塊。同時開放數(shù)據(jù)處理服務(wù)也提供更改操作界面背景的功能。
•多用戶環(huán)境:以項目空間的方式為不同用戶提供數(shù)據(jù)和計算資源的隔離。用戶可以在自己的項目空間里自定義數(shù)據(jù)表,作業(yè)和工作流,還通過授權(quán)方便靈活地共享數(shù)據(jù)。
•高擴展性:基于飛天大規(guī)模分布式計算系統(tǒng),可利用數(shù)千臺機器的計算資源同時運算,隨著計算資源的加入,計算效率線性擴展。
•編程模式:支持SQL和MapReduce兩種編程模式。非事務(wù)性的OLAP SQL模式滿足日常的數(shù)據(jù)倉庫分析需要,其實現(xiàn)基于飛天數(shù)據(jù)驅(qū)動的多級流水線并行計算框架,性能優(yōu)于基于MapReduce的迭代運算實現(xiàn)(例如Hive)。MapReduce編程框架靈活易用,比SQL表述性更強。
•多語言支持:支持主流編程語言,例如Java和Python,其中Java API與Hadoop保持兼容。