Linq內(nèi)部執(zhí)行原理剖析
Linq有很多值得學(xué)習(xí)的地方,這里我們主要介紹Linq內(nèi)部執(zhí)行原理,包括介紹MSDN Magazine等方面。
Linq內(nèi)部執(zhí)行原理
LINQ(Language Integrated Query)是Visual Studio 2008中的領(lǐng)軍人物。借助于LINQ技術(shù),我們可以使用一種類似SQL的語法來查詢?nèi)魏涡问降臄?shù)據(jù)。目前為止LINQ所支持的數(shù)據(jù)源有SQL Server、XML以及內(nèi)存中的數(shù)據(jù)集合。開發(fā)人員也可以使用其提供的擴(kuò)展框架添加更多的數(shù)據(jù)源,例如MySQL、Amazon甚至是Google Desktop。
一般來講,這類查詢語句的一個(gè)重要特點(diǎn)就是可以并行化執(zhí)行。雖然有些情況下并行可能會帶來一些問題,但這種情況非常少見。這樣也就水到渠成地引出了PLINQ這個(gè)并行處理的LINQ類庫。
PLINQ原名為Parallel LINQ,支持XML和內(nèi)存中的數(shù)據(jù)集合。執(zhí)行于遠(yuǎn)程服務(wù)器上的查詢語句(例如LINQ to SQL)顯然無法實(shí)現(xiàn)這個(gè)功能。
將LINQ語句轉(zhuǎn)換為PLINQ語句極為簡單——只需要在查詢語句中From子句所指定的數(shù)據(jù)源的***添加.AsParallel()即可。隨后Where、OrderBy和Select子句將自動改為調(diào)用這個(gè)并行的LINQ版本。
據(jù)MSDN Magazine介紹,PLINQ可以以三種方式執(zhí)行。***種是管道處理:一個(gè)線程用來讀取數(shù)據(jù)源,而其他的線程則用來處理查詢語句,二者同步進(jìn)行——雖然這個(gè)單一的消費(fèi)線程可能并不那么容易與多個(gè)生產(chǎn)線程同步。不過若是能夠仔細(xì)配置好負(fù)載平衡的話,仍然會極大地減少內(nèi)存占用。
第二種模式叫做“stop and go”,用于處理結(jié)果集需要被一次返回時(shí)(例如調(diào)用ToList、ToArray或?qū)Y(jié)果排序)的情況。在這種模式下,將依次完成各個(gè)處理過程,并將結(jié)果統(tǒng)一返回給消費(fèi)線程。這個(gè)模式在性能上將優(yōu)于***種模式,因?yàn)樗∪チ擞脕肀3志€程同步所花費(fèi)的開銷。
***一種方法叫做“inverted enumeration”。該方法并不需要實(shí)現(xiàn)收集到所有的輸出,然后在單一的線程中處理,而是將最終調(diào)用的函數(shù)通過ForAll擴(kuò)展傳遞到每個(gè)線程中。這是目前為止最快的一種處理模式,不過這需要傳遞到ForAll中的函數(shù)是線程安全的,且***不包含任何lock之類的互斥語句。
若是PLINQ中任意的一個(gè)線程拋出異常,那么所有的其他線程將會被終止。若是拋出了多個(gè)異常,那么這些異常將被組合成一個(gè)MultipleFailuresException類型的異常,但每個(gè)異常的調(diào)用堆棧仍會被保留。以上介紹Linq內(nèi)部執(zhí)行原理。
【編輯推薦】