IBM公司在今年四月發(fā)布了***的DB2數(shù)據(jù)庫，其中新增加了BLU加速器(BLU Acceleration)功能。從表面上看，BLU加速器是一個類似于列式存儲+內(nèi)存計算的功能，但其中還有一些技術(shù)細(xì)節(jié)值得DBA注意。對此，數(shù)據(jù)庫咨詢顧問Curt Monash在他的博客中對BLU加速器進(jìn)行了細(xì)致的解讀，方便DBA更深入地了解DB2 10.5版本中的這一新功能。

BLU加速器是新版DB2數(shù)據(jù)庫中的一個功能，它的作用類似于一個列式分析型DBMS。如果對BLU和非BLU表進(jìn)行連接，其過程是先將所有BLU表連接，然后結(jié)果集再與其他DB2進(jìn)行連接。至此，除了Oracle之外的其他主流企業(yè)級數(shù)據(jù)庫產(chǎn)品都已經(jīng)添加了列式存儲的功能。

IBM宣稱，BLU能夠線性垂直擴(kuò)展到64核CPU，而水平擴(kuò)展將很快實現(xiàn)。IBM建議所有面向分析負(fù)載的DB2表都應(yīng)該使用BLU加速器。***個版本的BLU加速器針對10 TB級別數(shù)據(jù)庫進(jìn)行了優(yōu)化，其能力可以處理20 TB數(shù)據(jù)。

BLU加速器在技術(shù)方面的創(chuàng)新亮點包括：

查詢功能完全管道化(pipelining )，表掃描可以共享

數(shù)據(jù)忽略(Data Skipping)功能能夠有效降低I/O

基于單指令多數(shù)據(jù)結(jié)構(gòu)(SIMD)的矢量化(Vectorization )。

概率緩存取代傳統(tǒng)LRU(Least Recently Used)，經(jīng)常被引用的數(shù)據(jù)塊出現(xiàn)在內(nèi)存當(dāng)中的幾率就越大。這一功能的背后還有更復(fù)雜的隨機(jī)算法支持。

“自動化工作負(fù)載管理”功能，IBM認(rèn)為查詢之間的資源爭用是造成資源浪費的主要原因，這一功能讓BLU加速器與傳統(tǒng)DB2數(shù)據(jù)庫相比在并發(fā)性上產(chǎn)生差異性優(yōu)勢。

此外，BLU采用列示存儲模型，在數(shù)據(jù)壓縮上同樣具備一定優(yōu)勢。BLU壓縮包括了近似的霍夫曼編碼、前綴編碼和差值壓縮。此外IBM稱，所有的壓縮算法都是保序的，因此范圍判斷可以直接在壓縮數(shù)據(jù)上執(zhí)行，也就是說可以直接在壓縮的數(shù)據(jù)上進(jìn)行處理和分析。這是BLU壓縮功能中***的亮點。

　　同其他列式數(shù)據(jù)庫系統(tǒng)一樣，BLU加速器的寫數(shù)據(jù)性能是性能瓶頸所在。對此，IBM給出的解釋是在數(shù)據(jù)庫中對新數(shù)據(jù)進(jìn)行移動(包括內(nèi)存中和磁盤中的數(shù)據(jù))，是BLU加速器的優(yōu)勢之一。IBM支持的方法包括：

　　BLU加速器支持LOAD、SQL INSERT、UPDATE、DELETE和其他三個基于SQL的操作，即INGEST、IMPORT和EXPORT(另外還包括BACKUP和RESTORE，它們也是移動數(shù)據(jù)的方式之一)。由于數(shù)據(jù)導(dǎo)入的語法和語義都保持不變，因此意味著你不需要做任何修改就可以繼續(xù)使用IBM Data Stage或者其他第三方的ETL工具。

　　與其他列式數(shù)據(jù)庫廠商保證性能的方式有所不同，IBM沒有選擇使用表的delta區(qū)域來插入新數(shù)據(jù)，然后再異步移動行數(shù)據(jù)到列區(qū)域，這種數(shù)據(jù)的二次加載對于性能將造成很大影響。IBM的方法是，針對主表直接添加數(shù)據(jù)，然后使用批量轉(zhuǎn)換來平攤列式處理所帶來的延遲問題。通過批量處理數(shù)據(jù)，可以極大程度地消除列式數(shù)據(jù)庫的固有開銷，并且完全避免了數(shù)據(jù)的二次處理。

　　此外，IBM還為BLU加速器添加了新的列式日志方法。從表面上來看，它與DB2傳統(tǒng)的基于日志的交易恢復(fù)相同，但是其中日志的數(shù)據(jù)格式是按照列的方式重新組織的。再加上XOR日志功能，BLU可以極大程度上縮減日志空間。而且BLU加速器的表能夠與傳統(tǒng)的數(shù)據(jù)庫表共存，IBM做到了二者的無縫整合。