ApacheCon北美站參會見聞，RocketMQ全力出擊
一、ApacheCon簡介和議程
在開源領域，ApacheCon和OSCON是最負盛名的兩大頂會(從今年開始，Linux基金會又推出了Open Source Summit，每年全球巡回舉行)。ApacheCon可以看作是Apache Committer的全球集會，參加分享的Speaker除了Apache董事會下的各路President，Chairman，Director, Officer等，當屬Committer最多，他們大多數(shù)為一線頂級的工程師&架構(gòu)師。平時大家都是郵件里溝通往來，借著每年一次的ApacheCon歡聚一起，聊開源，談技術，確是一件快事。
本次ApacheCon北美站的官方Slogan是“TOMORROW'S TECHNOLOGY TODAY.”沒錯，透過這次會議，我們確實看到了一些未來幾年會在Apache社區(qū)、甚至會撬動整個開源領域的技術方向，比方說Serverless技術、深度學習等。再比方說Apache RocketMQ(哈哈，這也是我們團隊的目標之一)。今年的大會還專門把大數(shù)據(jù)部分拆了出去，為期三天的會議實際上也分了兩個議題 - ApacheCon和Apache BigData。因為是同期舉行，我們并沒有去領略Apache BigData的風采，不過透過分享嘉賓的Topic簡介，我們還是能夠管中窺豹，領略其中一二。
總的日程安排上，本次大會有30多個主題方向， 4個子會議(ApacheIoT、CloudStack Collaboration Conference、FlexJS Summit 和TomcatCon)，共計200多個演講，規(guī)模不可謂不大~
二、Day1第一天
我們主要參加了BarCampApache，有些類似workshop。每個人先做簡短自我介紹，從介紹中抽取相關話題，如下圖。大家圍繞著這些主題一起交流討論，氛圍確實很輕松，也利于發(fā)揮(不過還是有一些小緊張，畢竟學校畢業(yè)后就沒怎么正經(jīng)的和老外“勾搭”過)。我們主要共享了3個話題，分別是“MQ in Practice”，“Differences between Queue”和“Open Source in China”。在簡單介紹了Apache ActiveMQ，Apache Kafka和Apache RocketMQ之間設計上和功能特性上的區(qū)別后，一位德國小哥，追著我們問“RocketMQ是否已經(jīng)全面替換了Kafka”，“從從你的介紹中，似乎RocketMQ已經(jīng)全面超越Kafka了，是嗎”哇，多么具有挑釁的問題啊，而我們的回答也是不亢不卑，既體現(xiàn)了中國人的謙遜，也表明了我們對RocketMQ產(chǎn)品的信心。也正是透過這次簡單的討論，引起了更多的同學來聽我們第三天的技術分享。有位印度小哥，在我們分享完了過來，和我說“很想聽下你們的分享，沒想到來晚了”我連忙安慰他說“There is a video in apache official, you can watch it !”，他這才“悻悻”離開。
三、第二天上午-Keynote環(huán)節(jié)
BarCampCon可以看做是ApacheCon的一個預熱，正式的會議今天拉開了序幕，通過下面的Agenda，我們可以看到上午是基本上都是Keynote，和國內(nèi)的Qcon一樣，主要是一些大佬們致辭。首先來自Apache基金會的President Sam的分享“Keynote: State of the Feather - Sam Ruby, President, Apache Software Foundation”。關于Sam的個人介紹，大家可以參看這里(https://apachecon2017.sched.com/event/9yTE/keynote-state-of-the-feather-sam-ruby-president-apache-software-foundation)。Sam的介紹也基本圍繞著Apache的要義上，上圖說明。
Community over Code的理念是對Apache社區(qū)18年的精髓提煉。但我們看這個問題切不可偏薄，在強調(diào)社區(qū)重要性的同時，也要關注產(chǎn)品，關注設計，關注代碼。Apache開源項目，我讀過源碼的項目不在少數(shù)，困擾我內(nèi)心的疑惑也是在看到這句話后有了一絲理解。為什么Apache很多頂級項目的代碼寫的沒有想象中的那么好，有的項目早期的代碼甚至可以用“慘不忍睹”來形容。我想社區(qū)提出這個理念的是好的，是站在大家具備了一定工匠代碼能力的前提下提出來的。在大家都關注代碼可讀性，可維護性，可擴展性之外，強調(diào)思路外延，產(chǎn)品理念外延。也正因為有了很好的社區(qū)，很好的群眾基礎，你的產(chǎn)品才會被更多的人接納，被更多人喜歡。所以我們看這個問題，一定要先立足我們的產(chǎn)品設計，編碼測試等。
我們現(xiàn)在還屬于Podlings狀態(tài)，團隊今年也在嘗試去運營一個更多元化，更健康的社區(qū)，爭取早日成為TLP。
接下來，是來自Hortonworks的Co-founder Alan Gates的分享Training Our Team in the Apache Way。談到Hortonworks，我想大家應該不陌生，尤其是Hadooper們，作為Hadoop商業(yè)化三駕馬車之一的Hortonworks，在開源方面的貢獻真不少，如下圖：
他們通過和Apache合作，分享Apache開源理念與研發(fā)機制，培養(yǎng)更多的，更高產(chǎn)的Open Source Coder。這個與后面的Jim分享的InnerSource的思路可以聯(lián)系起來，利用開源軟件優(yōu)秀的研發(fā)理念，運作內(nèi)部項目，從而獲得成功。
接下來是來自ApacheCon白金贊助商IBM的Keynote: Apache CouchDB: A Tale of Community, Cooperation and Code。可能很多同學都不是太了解這個存在了近十年的Apache頂級項目。MongoDB是和它對應的非Apache產(chǎn)品，它們都是文檔型NoSQL數(shù)據(jù)庫。這次也主要是以產(chǎn)品介紹為主。
最后一個keynote來自劍橋美女博士Sandra Matz的關于數(shù)字化心里評測方面的分享，與傳統(tǒng)那種“照鏡子”的問題式方式不同，數(shù)字化充分利用我們的社會數(shù)據(jù)，借助如Twitter, Instagram, facebook, google+等社交媒體，將個人的數(shù)字化足跡轉(zhuǎn)換為psychological profiles，利用這些評判人的性格(Openness, Conscientiousness, Extraversion, Agreeableness, Neuroticism etc.)，像Facebook這樣的社交媒體甚至可以以此為參考來做精準營銷，協(xié)同推薦等。整個議題感覺和這次大會不是很搭，但是講到性格特征時，會場笑聲朗朗，氛圍甚是輕松。
四、第二天下—技術Session環(huán)節(jié)
Keynote完了之后，接下來就是CoffeeBreak，短暫休息之后，開始技術燒腦分享。和國內(nèi)Qcon一樣，Apache 80多個topic，被安排到了6個半天里，同一時刻有至少4個topic同時進行，而我們關注重點主要集中在了Apache Way、MQ、IoT、大數(shù)據(jù)、性能相關。下面挑幾個我們參加的分會場給大家分享一下。
1、Netflix公司關于Cassandra在Netflix的應用
首先是來自Netflix公司云數(shù)據(jù)架構(gòu)師Vinay Chella帶來的Cassandra的分享，在我們的記憶里，Cassandra火了兩把，第一次是它剛開源的時候，借著Bigtable，Dynamo等知名存儲模型，那個時候國內(nèi)也有很多人研究應用它。再后來就是2.0出來。相比于HBase，Cassandra更適合于實時事務處理(這兩者的對比，大家可以參考這篇HBase vs. Cassandra: NoSQL Battle!)。Netflix同學的分享開頭先提出了一個CDE(Cloud Database Engineering)的概念(在Netflix內(nèi)部，Responsible for providing data stores as services @ Netflix)。
而Cassandra在Netflix的體量大體上有上萬的節(jié)點，PB的數(shù)據(jù)規(guī)模，每秒百萬的事務處理。面臨的挑戰(zhàn)也基本上圍繞在運維監(jiān)控層面，產(chǎn)品的敏捷迭代。考慮到Cassandra的存儲模型(先記錄日志CommitLog，然后數(shù)據(jù)開始寫入到 Column Family 對應的 Memtable 內(nèi)存中，在滿足一定條件時，再把 Memtable 的數(shù)據(jù)批量的刷新到磁盤上，存儲為 SSTable ),監(jiān)控圍繞在延遲(主要和Coordinator相關)，集群的健康狀況(如Gossip問題，Thrift服務狀態(tài)，Dmesg等硬件情況，日志錯誤等)。Netflix同學分享了它們的monitoring方案，不僅僅是快照，可以實時監(jiān)控成千上萬的節(jié)點和集群
接下來講了一堆Maintenance的工具，大體是是自己基于開源開發(fā)的一些運維監(jiān)控，解決備份，故障恢復，集中式配置管理，Token的自動分發(fā)等。在接下來比較有意思的是它的開源工具Benchmarking工具
最后，把所有的一切Stitching it together，提出了它們的Cassandra服務架構(gòu)。
2、Apache Commons Crypto: Another wheel of Apache Commons
接下來的topic是“Apache Commons Crypto: Another wheel of Apache Commons”常見的密碼學原語都有哪些呢?
Apache Commons Crypto 是一個高性能的加密庫，使用 AES-NI (Advanced Encryption Standard New Instructions) 進行優(yōu)化，通過JNI的形式封裝了OpenSSL。它的發(fā)展也比較有意思，早起被用在Hadoop(HDFS)加解密、編解碼體系中，有17+倍性能提升。后來Intel和Apache Commons社區(qū)合作，推出了Apache Commons Crypto工具，旨在收益其它大數(shù)據(jù)項目，如Spark等。Crypto提供了Low level Cipher API, Stream API, Random API。接下來分享了為什么要造這個輪子，既然有了JCE(Java Cryptography Extension)
而Crypto性能之高歸納起來，大致有這么幾點1. AES算法固化到硬件層面(Intel®AES-NI)。2 利用指令集的并行機制。最后，到底有哪些大數(shù)據(jù)組件使用了該算法呢?
3、InnerSource 101 and The Apache Way
接下來，由我們的導師Jim，也是Apache軟件基金會的 co-founder分享了InnerSource 101 and The Apache Way.
基本的原則有哪些，社區(qū)和代碼之間的關系如何?
關于社區(qū)的思考又是如何的? 總體上來講，Jim的分享還是讓我很受啟發(fā)的。雖然只是一些方法以及一些相對寬泛的原則性指導。但Apache 18年的歷史長河孕育了無數(shù)成功開源項目的經(jīng)驗，讓我欽佩不已。開源軟件的產(chǎn)品經(jīng)驗，社區(qū)孵化都可以反哺到我們的日常工作，甚至是商業(yè)包裝上來，關于這一點，消息團隊也在不斷探索，期待有一天能把我們的思考也分享出來。
4、NTT公司在IoT業(yè)務上采用Kafka踩過的10個大坑
接下來的主題，我們重點去聽了日本NTT DATA Corporation關于IoT的分享。說是IoT，其實用了大量篇幅在講Kafka作為連接服務器在大規(guī)模部署中遇到的問題以及解決方案。最近團隊上線了Kafka服務，通過和Apache RocketMQ的后臺服務打通，期間也踩了不少坑，做了很多改進和優(yōu)化。大家如果有需求，歡迎來Aliware MQ官網(wǎng)來試試。
5、ActiveMQ Artemis 2.0
接下來是RedHat同學關于Artemis的分享，說實話我關注它很久了(主要是感興趣它的產(chǎn)品形態(tài))。原型是JBoss的HornetMQ，之前和Apache ActiveMQ做了融合，作為其子項目在Apache社區(qū)孵化。不過從這次的分享來看，2.1版本和ActiveMQ做了整合，如下圖：
從協(xié)議支撐來講，比Apache RocketMQ要豐富一些，也做了自己的線路層協(xié)議。用它自己的話來說是protocol agnostic。剩下的介紹了一些它內(nèi)部的異步存儲機制，高可用，傳輸層Netty的使用以及優(yōu)化等。說到這，要提下我們在做的OpenMessaging這個項目，Apache的MQ起初都是面向企業(yè)應用的，在安全、異構(gòu)形態(tài)的支撐方面要更加擅長，在面對互聯(lián)網(wǎng)高并發(fā)，大數(shù)據(jù)流量，海量終端在線領域還是有不少空缺的。我們經(jīng)常在講互聯(lián)網(wǎng)的趨勢，那下一個趨勢是什么呢?我們能不能成為趨勢的制造者，亦或者跟隨趨勢順勢而為，光想想這些問題就讓人激動不已。好了，中間插播下廣告，阿里中間件(Aliware)消息團隊招聘進行中，希望我們都能“賭準”下一個云計算趨勢，成為“弄潮兒”。
五、Day3第三天
1、How to Become an IoT Developer (and Have Fun!)
因為今天中午有我們Apache RocketMQ的分享，早上大家花了1個小時過了下場，打起百分之一百二的精氣神。接下來去會場聽了來自我們的導師Justin的分享How to Become an IoT Developer。在開篇，他介紹了自己跟IoT結(jié)下的梁子
接下來就是一堆物聯(lián)網(wǎng)趨勢已經(jīng)來臨之類的判斷，以及用軟件的思路去做硬件編程。在Arduino下的編程體驗是什么樣的?
接下來Justin又分享了各種電子元器件，電路板等硬件設施的特點。有一些我自己都沒聽懂。最后，引用他結(jié)尾的PPT做一個總結(jié)?？偨Y(jié)的非常精辟。沒錯，對于人生來說，確實一個很好的Journey(活到老，折騰到老，更是學到老。尤其像他這種工作20多年的Apachers)。我們還把中文的“老司機”(Old Driver)講給他聽，在Apache這個社區(qū)里，它確實是不折不扣的老司機。
2、Apache RocketMQ - Trillion Messaging in Practice
接下來，就是我們阿里中間件(Aliware)消息團隊分享的話題--Apache RocketMQ – Trillion Messaging in Practice，令人振奮的是我們這個會場有視頻錄播，這對我們來說確實是一個福音。這樣我們回去就可以聽聽自己第一次的英文分享，便于總結(jié)，有利于下次發(fā)揮的更好，和國際開源社區(qū)的交流更加流暢。非常巧的是，這個演講結(jié)束后，就有幾個韓國、印度和國外的華裔來問問題，可見英文在國際開源社區(qū)溝通中的重要性。
在分享過程中我們也介紹了阿里中間件(Aliware)商業(yè)產(chǎn)品的高級特性，旁邊的印度同學一直在問“這個…你們會開源嗎?”答案當然是肯定的。不過這里面需要有策略，我們目前是有時間差的，內(nèi)核與擴展，核心專利等多種有效機制，來保證我們在分享我們開源情懷胸襟的同時，防止一些不“友好”的事情發(fā)生。開源商業(yè)化這種玩法，在國際科技巨擘里面屢見不鮮。像IBM這次會議就來宣傳他們的CouchBase和OpenWhisk商業(yè)版本。其它的如Pivotal，RedHat等就更不必說了。
3、CloudStack Collaboration Conference
再接下來，去CloudStack分會場去兜了圈，CloudStack這次能夠作為四場Mini峰會之一去舉辦，可見其在Apache基金會下發(fā)展的勢頭是多么良好。前幾年，國內(nèi)OpenStack大行其道，中國社區(qū)的各種meetup搞的也是風生水起。很多公司，像華為，網(wǎng)易也有專職的崗位去做這塊。而和它相對的CloudStack國內(nèi)知曉的人不多，而CloudStack最大優(yōu)勢就在于apache基金會的管理，這是保證CloudStack能持續(xù)有生命力的關鍵。Apache基金會的管理中，很重要的一點是社區(qū)高于代碼。Apache基金會關注社區(qū)的建設，項目本身的代碼質(zhì)量會因為社區(qū)的繁榮得到改善，社區(qū)也是項目有生命力的關鍵。我自己本身對于這塊的踐行比較少，所以這塊就一筆帶過。最近也在計劃花點時間去研究下這塊，希望能給我們的私有云，公有云大規(guī)模部署運維帶來一些啟發(fā)。
六、Day4-第四天
1、Apache httpd 2.4新功能和性能現(xiàn)狀
上午主要去聽了HTTP 2.4，HTTP/2相關的一些Topic。主要想解下Apache Server對于Nginx的競爭如何發(fā)展，以及HTTP2目前的生產(chǎn)實踐效果。
這里的測試都是基于本地的靜態(tài)網(wǎng)站以及反向代理，所有的配置也幾乎都是out-of-the-box的。由此可見Apache Server 2.4的Event MPM模型已經(jīng)有很不錯的吞吐性能。至于孰優(yōu)孰劣，做過性能測試的同學都知道，沒有benchmark一切都是沒有信服力的。大家還是看看這些截圖，僅做參考，實際的流量特性，分布也和測試是完全不同。
去年阿里中間件(Aliware)消息團隊研發(fā)的MQ中繼產(chǎn)品也利用了HTTP2高性能、防火墻友好、安全特性等，實現(xiàn)跨網(wǎng)絡，跨云基礎實施的通訊。在實現(xiàn)過程中也對HTTP2進行了簡單的探尋研究，為此提出了降級的MVP自由線路層協(xié)議，防止HT先·TP2的基礎設施對硬件限制。通過跟蹤Netty HTTP2模塊代碼，也發(fā)現(xiàn)了不少問題。在這塊有研究的同學，歡迎和我們交流。
2、OpenWhisk和IoT話題
最后讓我們以OpenWhisk的topic為尾。OpenWhisk幾乎是和RocketMQ同時期(IBM捐贈)進入Apache的。我對它的印象還比較深，在Apache董事會需要審核的月報里，我都會留意它的報告。一開始聲稱是一個Gateway解決方案，到現(xiàn)在已經(jīng)朝Serverless framework發(fā)展了。
接下來開始介紹它們的商業(yè)化解決法方案Bluemix：
最后的提問環(huán)節(jié)，有外國友人提到是否有機會集成ActiveMQ作為Event Provider，IBM的同學順口還提了Apache RocketMQ也在它們的考慮范圍，看來這次Apache RocketMQ北美之旅不虛此行哈。
七、大會總結(jié)
4天的燒腦時間就這樣嗖的過去了，是時候收斂并總結(jié)一下這次ApacheCon的參會感受了。
1. 和開篇呼應下，ApacheCon的主要參會人員大部分是全球各種Apache項目的Committer，都是貨真價實的一線Coder。整體會議的技術含量較高，但同時也影響了其參會觀眾的規(guī)模。20多人的小會場很難看到滿員的情況，這要是放在國內(nèi)，100人的場地應該都可以爆滿(從前年的Apache亞洲路演來看)。從這個角度來講，我們的軟件行業(yè)對Apache這個品牌還是非常認可的。
2. 亞裔參會人員不少，國內(nèi)參會的同學集中在Intel，EMC，Ebay，華為和阿里巴巴。從一定程度看到了公司的政策傾向，受此影響不斷創(chuàng)新自研出一些可以影響全球的產(chǎn)品的意愿也越來越強。我們的近鄰日本的開發(fā)者來作分享的也不少。從這點來看，我們國家的軟件行業(yè)，至少是FOSS層面慢慢地走上了正軌。
3. 全球軟件行業(yè)中，開源商業(yè)化的趨勢非常明顯。所有的Apache基金會旗下的開源軟件，放眼望去，背后幾乎都有商業(yè)化公司在運作。這也是這些年從Linux這種早期開源商業(yè)化模式中不斷驗證出來的盈利模式。客戶對于這種后付費的產(chǎn)品，Apache品牌效應更為認可。
4. 拉回現(xiàn)實，就像之前強調(diào)的那樣，捐贈RocketMQ是非常積極的第一步，我們的產(chǎn)品在易用性，穩(wěn)定性等方面距離我們心里的那個“第一”還有一定差距，我們需要更加清醒的認識到這點。我們要按照既定節(jié)奏穩(wěn)扎穩(wěn)打，做一樣精一樣，將國外那種嚴謹，工匠精神貫徹到底，相信我們的開源軟件產(chǎn)品一定可以帶來不同的體驗。
【本文為51CTO專欄作者“阿里巴巴官方技術”原創(chuàng)稿件，轉(zhuǎn)載請聯(lián)系原作者】
