從概念到底層技術(shù),區(qū)塊鏈一站式分析和匯總
區(qū)塊鏈作為一種架構(gòu)設(shè)計的實現(xiàn),與等基礎(chǔ)語言或平臺的知識庫差別較大。區(qū)塊鏈是加密貨幣背后的技術(shù),是當下與VR虛擬現(xiàn)實等比肩的熱門技術(shù)之一,本身不是新技術(shù),類似Ajax,可以說它是一種技術(shù)架構(gòu),所以我們從架構(gòu)設(shè)計的角度談?wù)剠^(qū)塊鏈的技術(shù)實現(xiàn)。
無論你擅長什么編程語言,都能夠參考這種設(shè)計去實現(xiàn)一款區(qū)塊鏈產(chǎn)品。與此同時,梳理與之相關(guān)的知識圖譜和體系,幫助大家系統(tǒng)的去學習研究。文末,推薦了一些精選內(nèi)容,供大家閱讀。
區(qū)塊鏈是什么
區(qū)塊鏈來自于比特幣等加密貨幣的實現(xiàn),目前這項技術(shù)已經(jīng)逐步運用在各個領(lǐng)域。我們可以使用谷歌地球的例子做類比:ajax不是新技術(shù),但組合后成就了產(chǎn)品谷歌地球。區(qū)塊鏈與加密解密技術(shù)、P2P網(wǎng)絡(luò)等組合在一起,誕生了比特幣。
技術(shù)人員,特別是Web開發(fā)工程師,學習了解ajax技術(shù)最早是被谷歌地球酷炫的效果所吸引。而現(xiàn)在,歷史再一次重演,很多人被比特幣的瘋狂發(fā)展所吸引,進而開始研究其背后的技術(shù)——區(qū)塊鏈。
區(qū)塊鏈作為比特幣背后的技術(shù),無需中心服務(wù)器,可實現(xiàn)各類存儲數(shù)據(jù)公開、透明、可追溯。原本是比特幣等加密貨幣存儲數(shù)據(jù)的一種獨特方式,是一種自引用的數(shù)據(jù)結(jié)構(gòu),用來存儲大量交易信息,每條記錄從后向前有序鏈接起來,具備公開透明、無法篡改、方便追溯的特點。
實際上,這種特性也直接體現(xiàn)了整個比特幣的特點,因此使用區(qū)塊鏈來概括加密貨幣背后的技術(shù)實現(xiàn)是非常直觀和恰當?shù)?。區(qū)塊鏈是一項技術(shù),加密貨幣是其開發(fā)實現(xiàn)的一類產(chǎn)品(含有代幣,也有不含代幣的區(qū)塊鏈產(chǎn)品),不能等同或混淆。與加密貨幣相比,區(qū)塊鏈這個名字拋開了代幣的概念,更加形象化、技術(shù)化,更適合作為一門技術(shù)去研究。
所以,目前當大家單獨說到區(qū)塊鏈的時候,就是指的區(qū)塊鏈技術(shù),是實現(xiàn)了數(shù)據(jù)公開、透明、可追溯的產(chǎn)品的架構(gòu)設(shè)計方法,算作廣義的區(qū)塊鏈。而當在具體產(chǎn)品中談到區(qū)塊鏈的時候,可以指類似比特幣的數(shù)據(jù)存儲方式,或許是數(shù)據(jù)庫設(shè)計,或許是文件形式的設(shè)計,這算作狹義的區(qū)塊鏈。
廣義的區(qū)塊鏈技術(shù),必須包含點對點網(wǎng)絡(luò)設(shè)計、加密技術(shù)應用、分布式算法的實現(xiàn)、數(shù)據(jù)存儲技術(shù)的使用等4個方面,其他的可能涉及到分布式存儲、機器學習、VR、物聯(lián)網(wǎng)、大數(shù)據(jù)等。狹義的區(qū)塊鏈僅僅涉及到數(shù)據(jù)存儲技術(shù),數(shù)據(jù)庫或文件操作等。本文的區(qū)塊鏈,指的是廣義的區(qū)塊鏈。
區(qū)塊鏈架構(gòu)
從架構(gòu)設(shè)計上來說,區(qū)塊鏈可以簡單的分為三個層次,協(xié)議層、擴展層和應用層。其中,協(xié)議層又可以分為存儲層和網(wǎng)絡(luò)層,它們相互獨立但又不可分割。如圖:
➤協(xié)議層
指代***層的技術(shù)。這個層次通常是一個完整的區(qū)塊鏈產(chǎn)品,類似于我們電腦的操作系統(tǒng),它維護著網(wǎng)絡(luò)節(jié)點,僅提供Api供調(diào)用。通常官方會提供簡單的客戶端(通稱為錢包),這個客戶端錢包功能也很簡單,只能建立地址、驗證簽名、轉(zhuǎn)賬支付、查看余額等。這個層次是一切的基礎(chǔ),構(gòu)建了網(wǎng)絡(luò)環(huán)境、搭建了交易通道、制定了節(jié)點獎勵規(guī)則,至于你要交易什么,想干什么,它一概不過問,也過問不了。典型的例子,自然是比特幣,還有各種二代幣,比如萊特幣等,本書介紹的億書幣也是。這個層次,是現(xiàn)階段開發(fā)者聚集的地方,這說明加密貨幣仍在起步當中。
協(xié)議層主要包括網(wǎng)絡(luò)編程、分布式算法、加密簽名、數(shù)據(jù)存儲技術(shù)等4個方面,其中網(wǎng)絡(luò)編程能力是大家選擇編程語言的主要考慮因素,因為分布式算法基本上屬于業(yè)務(wù)邏輯上的實現(xiàn),什么語言都可以做到,加密簽名技術(shù)是直接簡單的使用(可以看加密解密文章,不建議自由發(fā)揮,沒有過多的編碼邏輯),數(shù)據(jù)庫技術(shù)也主要在使用層面,只有點對點網(wǎng)絡(luò)的實現(xiàn)和并發(fā)處理才是開發(fā)的難點,所以對于那些網(wǎng)絡(luò)編程能力強,對并發(fā)處理簡單的語言,人們就特別偏愛。因此,Nodejs開發(fā)區(qū)塊鏈應用,逐漸變得更加流行,Go語言也在逐漸興起。
上面的架構(gòu)設(shè)計圖里,我把這個層面進一步分成了存儲層和網(wǎng)絡(luò)層。數(shù)據(jù)存儲可以相對獨立,選擇自由度大一些,可以單獨來討論。選擇的原則無非是性能和易用性。我們知道,系統(tǒng)的整體性能,主要取決于網(wǎng)絡(luò)或數(shù)據(jù)存儲的I/O性能,網(wǎng)絡(luò)I/O優(yōu)化空間不大,但是本地數(shù)據(jù)存儲的I/O是可以優(yōu)化的。比如,比特幣選擇的是谷歌的LevelDB,據(jù)說這個數(shù)據(jù)庫讀寫性能很好,但是很多功能需要開發(fā)者自己實現(xiàn)。目前,困擾業(yè)界的一個重大問題是,加密貨幣交易處理量遠不如現(xiàn)在中心化的支付系統(tǒng)(銀行等),除了I/O,需要全方位的突破。
分布式算法、加密簽名等都要在實現(xiàn)點對點網(wǎng)絡(luò)的過程中加以使用,所以自然是網(wǎng)絡(luò)層的事情,也是編碼的重點和難點,《Nodejs開發(fā)加密貨幣》全書分享的基本上就是這部分的內(nèi)容。當然,也有把點對點網(wǎng)絡(luò)的實現(xiàn)單獨分開的,把節(jié)點查找、數(shù)據(jù)傳輸和驗證等邏輯獨立出來,而把共識算法、加密簽名、數(shù)據(jù)存儲等操作放在一起組成核心層。無論怎么組合,這兩個部分都是最核心、***層的部分,都是協(xié)議層的內(nèi)容。
➤擴展層
這個層面類似于電腦的驅(qū)動程序,是為了讓區(qū)塊鏈產(chǎn)品更加實用。目前有兩類,一是各類交易市場,是法幣兌換加密貨幣的重要渠道,實現(xiàn)簡單,來錢快,成本低,但風險也大。二是針對某個方向的擴展實現(xiàn),特別值得一提的就是大家聽得最多的“智能合約”的概念,這是典型的擴展層面的應用開發(fā)。
所謂“智能合約”就是“可編程合約”,或者叫做“合約智能化”,其中的“智能”是執(zhí)行上的智能,也就是說達到某個條件,合約自動執(zhí)行,比如自動轉(zhuǎn)移證券、自動付款等,目前還沒有比較成型的產(chǎn)品,但不可否認,這將是區(qū)塊鏈技術(shù)重要的發(fā)展方向。
擴展層使用的技術(shù)就沒有什么限制了,可以包括很多,上面提到的分布式存儲、機器學習、VR、物聯(lián)網(wǎng)、大數(shù)據(jù)等等,都可以使用。編程語言的選擇上,可以更加自由,因為可以與協(xié)議層完全分離,編程語言也可以與協(xié)議層使用的開發(fā)語言不相同。
在開發(fā)上,除了在交易時與協(xié)議層進行交互之外,其他時候盡量不要與協(xié)議層的開發(fā)混在一起。這個層面與應用層更加接近,也可以理解為B/S架構(gòu)的產(chǎn)品中的服務(wù)端(Server)。這樣不僅在架構(gòu)設(shè)計上更加科學,讓區(qū)塊鏈數(shù)據(jù)更小,網(wǎng)絡(luò)更獨立,同時也可以保證擴展層開發(fā)不受約束。
從這個層面來看,區(qū)塊鏈可以架構(gòu)開發(fā)任何類型的產(chǎn)品,不僅僅是用在金融行業(yè)。在未來,隨著底層協(xié)議的更加完善,任何需要第三方支付的產(chǎn)品都可以方便的使用區(qū)塊鏈技術(shù);任何需要確權(quán)、征信和追溯的信息,都可以借助區(qū)塊鏈來實現(xiàn)。我個人覺得,這個目標應該很快就能實現(xiàn)。
➤應用層
這個層面類似于電腦中的各種軟件程序,是普通人可以真正直接使用的產(chǎn)品,也可以理解為B/S架構(gòu)的產(chǎn)品中的瀏覽器端(Browser)。這個層面的應用,目前幾乎是空白。市場亟待出現(xiàn)這樣的應用,引爆市場,形成真正的擴張之勢,讓區(qū)塊鏈技術(shù)盡快服務(wù)于大眾。大家使用的各類輕錢包(客戶端),應該算作應用層最簡單、最典型的應用。
限于當前區(qū)塊鏈技術(shù)的發(fā)展,比如億書只能從協(xié)議層出發(fā),把目標指向應用層,同時為第三方開發(fā)者提供擴展層的強大支持。這樣做既可以避免貪多,又可以避免無法落地,是真正理性的開發(fā)路線。因為純粹的開發(fā)協(xié)議層或擴展層,無法真正理解和驗證應用層,會脫離實際,讓第三方開發(fā)者很難使用。如果僅僅考慮應用層,市面上又找不到真正牢固、易用的協(xié)議層或擴展層的產(chǎn)品。
➤編程實現(xiàn)
很多小伙伴,習慣結(jié)合自己的技術(shù)背景,來理解上面的架構(gòu)設(shè)計。這里,結(jié)合具體的編程語言,簡單介紹幾款產(chǎn)品,僅供參考。
(1)C/C++
這兩個語言是無法逾越的,任何開發(fā)遇到瓶頸,基本上都會找到它們,自然應該排在***位要介紹的。同時,區(qū)塊鏈技術(shù)的鼻祖,比特幣(協(xié)議層)就是用C++語言開發(fā)的,而且目前為止,沒有比比特幣更加成功的區(qū)塊鏈產(chǎn)品。所以,無論你使用什么語言開發(fā),在正式進入這個行業(yè)的過程中,都應該先研究研究比特幣。比特幣官方客戶端錢包用的Qt,第三方錢包有Python語言開發(fā)的,特別是第三方整理的開發(fā)庫(Api包)很多是Nodejs設(shè)計的。比特幣的架構(gòu),與上面的架構(gòu)設(shè)計基本相同,另外,因為共識算法采用的是工作量證明機制(PoW:Proof of work),還有一些特殊的挖礦的過程。其他競爭幣都是直接來自比特幣的分支,所以編程語言相同,具體的技術(shù)選型和技術(shù)實現(xiàn)上可能有所改進,比如:萊特幣,使用了其他的加密算法。
(2)Nodejs/Javascript
Nodejs平臺強大的網(wǎng)絡(luò)編程能力,以及js腳本語言的簡單快捷,在區(qū)塊鏈領(lǐng)域自然少不了它的身影。億書便是這樣一個區(qū)塊鏈產(chǎn)品,億書幣是它的協(xié)議層,使用了著名的express開發(fā)框架,基于http協(xié)議開發(fā)而成。同時,它采用了授權(quán)股權(quán)證明機制(DPoS),算法上的改進,讓它在處理交易時更加輕量,處理能力大大提升。它提供了強大的協(xié)作機制,為數(shù)字出版、版權(quán)保護提供了便利;擴展了側(cè)鏈功能,可以基于它開發(fā)任何去中心化的應用,從而為專業(yè)作者、博客愛好者和開發(fā)者提供很多方便。
《Nodejs開發(fā)加密貨幣》這本書完整分享了它的源碼,從區(qū)塊鏈基礎(chǔ)概念到代碼實現(xiàn),從基本原理到開發(fā)設(shè)計思路,都做了比較詳細的探索,目前為止,從協(xié)議層面深入代碼講解區(qū)塊鏈技術(shù)實現(xiàn)的書籍極少,這算作一本。
(3)Python
如果是Python語言愛好者,我建議研究研究以太坊(Ethereum)的Python實現(xiàn)。盡管因為The Dao事件鬧得沸沸揚揚,但從技術(shù)實現(xiàn)的角度來說,仍然值得參考學習。以太坊官方定位為一種開發(fā)管理分布式應用的平臺,主攻方向就是“智能合約”,并為其定制了一種編程語言Solidity。以太坊的核心是以太坊虛擬機(EVM),允許用戶按照自己的意愿創(chuàng)建操作。
以太坊給出了Go、Java、Python等多語言的實現(xiàn)。其中以python為基礎(chǔ)的實現(xiàn)主要包括三個部分:Pyethapp是客戶端部分;pyethereum是核心庫,實現(xiàn)了區(qū)塊鏈、以太坊模擬機和挖礦等功能;pydevp2p是點對點網(wǎng)絡(luò)庫,實現(xiàn)了節(jié)點發(fā)現(xiàn)、合約代碼傳輸、加密簽名等功能,這三者組合在一起就是完整的區(qū)塊鏈實現(xiàn),后面兩個核心庫共同組成了協(xié)議層。另外,go-ethereum是go語言的完整實現(xiàn);Ethereum(J) 是純Java實現(xiàn),它作為可以嵌入任何Java/Scala項目的庫提供??蛻舳朔矫妫€有Rust、Ruby、Javascript等語言的實現(xiàn)。
(4)Go
在多核時代,Go語言備受喜愛,它可以讓你用同步方式輕松實現(xiàn)高并發(fā),特別是在分布式系統(tǒng)、網(wǎng)絡(luò)編程等領(lǐng)域,應用非常廣。在區(qū)塊鏈開發(fā)領(lǐng)域,也有很多使用Go語言的項目。
其中,由linux基金會主導的超級賬本(HyperLeger),版本庫的名字叫Fabric,就是其中一個。該項目試圖為新一代的事務(wù)應用創(chuàng)建一種開放的分布式賬本標準,支持許可式區(qū)塊鏈(這種方式可能無法再現(xiàn)比特幣那種強大的網(wǎng)絡(luò)效應)。Fabric的開發(fā)環(huán)境建立在VirtualBox虛擬機上,部署環(huán)境可以自建網(wǎng)絡(luò),也可以直接部署在BlueMix上,部署方式可docker化,支持用Go和JavaScript開發(fā)智能合約。它采用PBFT分布式算法,網(wǎng)絡(luò)編程方面用gRPC來做P2P通訊,使用 Protocol Buffer來序列化要傳遞的數(shù)據(jù)結(jié)構(gòu)。在架構(gòu)設(shè)計上,F(xiàn)abric可能與比特幣等區(qū)塊鏈產(chǎn)品有所不同,但是上述基本組成部分還是不可或缺的。
其他編程語言,比如:C#等,也有具體實例,這里就不再列舉。針對不同的編程語言,在具體的編碼或架構(gòu)設(shè)計上可能有很大差別,但是協(xié)議層所使用的技術(shù)并沒有太大的變化。網(wǎng)絡(luò)編程是重點和難點,多數(shù)沒有現(xiàn)成的框架可用,都是使用編程語言自身提供的庫來設(shè)計開發(fā),所以比較底層,非??简為_發(fā)者的編碼功底。
區(qū)塊鏈知識圖譜
我把與區(qū)塊鏈相關(guān)的知識內(nèi)容分為下面4個方面:
(1)基礎(chǔ)知識
區(qū)塊鏈是新技術(shù),與之相關(guān)的是其背后大量的新概念、新理論。這些知識,雖然不直接體現(xiàn)在編碼里,但卻是理解區(qū)塊鏈,掌握區(qū)塊鏈技術(shù)的基本知識。所以,理當成為區(qū)塊鏈技術(shù)不可或缺的一部分。這部分從基本概念入手,到工作原理的描述,就能夠把區(qū)塊鏈基礎(chǔ)知識全部覆蓋。
(2)技術(shù)實現(xiàn)
區(qū)塊鏈是一項技術(shù),但從上面的分析可以看出,它應該是一種架構(gòu)應用,架構(gòu)的實現(xiàn)理當是我們知識庫的核心。正如大家看到的,任何一款區(qū)塊鏈產(chǎn)品,協(xié)議層必須包括點對點網(wǎng)絡(luò)、加密簽名、數(shù)據(jù)存儲、分布式算法等4個部分,應用層也必然要提供錢包、客戶端瀏覽器等基礎(chǔ)應用。所以,把這部分獨立出來,也是合情合理。
在擴展層的部分,區(qū)塊鏈技術(shù)可以對接各種應用,比如:金融、物聯(lián)網(wǎng)、網(wǎng)絡(luò)安全、版權(quán)保護、電子商務(wù)等等,現(xiàn)有的很多技術(shù)都可以用在這里。只不過,如何與區(qū)塊鏈結(jié)合,如何實現(xiàn)跨行業(yè)使用,自然是這部分內(nèi)容研究的課題。所以,這里所羅列或涉及到的技術(shù),理應歸為技術(shù)實現(xiàn)的一個重要部分。
(3)開發(fā)環(huán)境
區(qū)塊鏈是多項技術(shù)的組合,有其自身的復雜性,個別應用對開發(fā)環(huán)境依賴較大,開發(fā)工具與環(huán)境搭建,是讓開發(fā)者快速上手的重要內(nèi)容。
(4)項目實踐
據(jù)說,短短數(shù)年,全球區(qū)塊鏈產(chǎn)品已經(jīng)有幾千個,其中不乏創(chuàng)新應用。有些優(yōu)秀的開源產(chǎn)品和項目實踐,是***的學習研究資料。
以上,我們把區(qū)塊鏈技術(shù)基礎(chǔ)架構(gòu)描述了一下,需要再次強調(diào)的是,這僅僅是一種實現(xiàn)方式,絕非所有的區(qū)塊鏈產(chǎn)品都是如此,我們也期待更多創(chuàng)新出現(xiàn)。
編程實現(xiàn)羅列了幾種編程語言與其實現(xiàn)的典型產(chǎn)品,因為協(xié)議層技術(shù)較為底層,并沒有太多現(xiàn)成的框架需要介紹或討論。這些產(chǎn)品都是開源產(chǎn)品,大家可以結(jié)合自己的技術(shù)背景,進一步查看對應的產(chǎn)品源碼,很快就能了解其中的奧妙。
我在考慮這個知識體系的過程中,考慮過使用比特幣、競爭幣、智能合約、數(shù)字資產(chǎn)、智能資產(chǎn)等具體領(lǐng)域的實現(xiàn)作為分類方法,但又怕限制了思維。隨著區(qū)塊鏈的發(fā)展,這個圖譜將不停的修改下去。
在這里,呼吁一下,希望讀到這篇文章的小伙伴提供您的寶貴意見,讓我們把這個關(guān)于區(qū)塊鏈的知識分類圖譜做得更加科學合理,使用更加方便。