淘寶分布式框架Fourinone2.0正式版發(fā)布
淘寶Fourinone2.0提供了一個4合1分布式框架和簡單易用的編程api,實現(xiàn)對多臺計算機(jī)cpu,內(nèi)存,硬盤的統(tǒng)一利用,從而獲取到強(qiáng)大計算能力去解決復(fù)雜問題。Fourinone框架提供了一系列并行計算模式(農(nóng)民工/包工頭/職介紹/手工倉庫)用于利用多機(jī)多核cpu的計算能力;提供完整的分布式緩存和小型緩存用于利用多機(jī)內(nèi)存能力;提供像操作本地文件一樣操作遠(yuǎn)程文件(訪問,并行讀寫,拆分,排它,復(fù)制,解析,事務(wù)等)用于利用多機(jī)硬盤存儲能力;由于多計算機(jī)物理上獨(dú)立,F(xiàn)ourinone框架也提供完整的分布式協(xié)同和鎖以及簡化MQ功能,用于實現(xiàn)多機(jī)的協(xié)作和通訊。
Fourinone 2.0新增功能:
一、提供了對分布式文件的便利操作, 將集群中所有機(jī)器的硬盤資源利用起來,通過統(tǒng)一的fttp文件路徑訪問,如:
windows:fttp://v020138.sqa.cm4/d:/data/a.log
linux:fttp://v020138.sqa.cm4/home/user/a.log
比如以這樣的方式讀取遠(yuǎn)程文件:
FttpAdapter fa = FttpAdapter("fttp://v020138.sqa.cm4/home/log/a.log");
fa.getFttpReader().readAll();
提供對集群文件的操作支持,包括:
1、元數(shù)據(jù)訪問,添加刪除,按塊拆分, 高性能并行讀寫,排他讀寫(按文件部分內(nèi)容鎖定),隨機(jī)讀寫,集群復(fù)制等
2、對集群文件的解析支持(包括按行,按分割符,按最后標(biāo)識讀?。?br style="PADDING-BOTTOM: 0px; MARGIN: 0px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; PADDING-TOP: 0px" />
3、對整形數(shù)據(jù)的高性能讀寫支持(ArrayInt比ArrayList存的更多更快)
4、兩階段提交和事務(wù)補(bǔ)償處理
5、自帶一個集群文件瀏覽器,可以查看集群所有硬盤上的文件(不同于hadoop的namenode,沒有單點(diǎn)問題和容量限制)
總的來說, 將集群看做一個操作系統(tǒng),像操作本地文件一樣操作遠(yuǎn)程文件。
但是fourinone并不提供一個分布式存儲系統(tǒng),比如文件數(shù)據(jù)的導(dǎo)入導(dǎo)出、拆分存儲、負(fù)載均衡,備份容災(zāi)等存儲功能,不過開發(fā)人員可以利用這些api去設(shè)計和實現(xiàn)這些功能,用來滿足自己的特定需求。
更多介紹請看使用指南:
一、如何搭建配置FttpAdapter環(huán)境
二、如何訪問集群文件根目錄
三、如何訪問和操作遠(yuǎn)程文件
四、如何進(jìn)行集群內(nèi)文件復(fù)制和并行復(fù)制
五、如何讀寫遠(yuǎn)程文件
六、如何解析遠(yuǎn)程文件
七、如何并行讀寫遠(yuǎn)程文件
八、如何批量并行讀寫遠(yuǎn)程文件和事務(wù)補(bǔ)償處理
二、自動化class和jar包部署
class和jar包只需放在工頭機(jī)器上, 各工人機(jī)器會自動獲取并執(zhí)行,兼容操作系統(tǒng),不需要進(jìn)行安全密鑰復(fù)雜配置
三、網(wǎng)絡(luò)波動狀況下的策略處理,設(shè)置搶救期,搶救期內(nèi)網(wǎng)絡(luò)穩(wěn)定下來不判定結(jié)點(diǎn)死亡
下載地址:
http://www.skycn.com/soft/68321.html