框架組件,究竟要不要自研?
很多朋友問我:框架組件,究竟要不要自研?究竟要不要建設(shè)自研技術(shù)體系。
15年加盟58到家后,框架/組件/基礎(chǔ)服務(wù)/技術(shù)平臺,正好也是自己負責(zé)范圍的一部分,故談一談自己的想法。
為什么早期不建議自研?
早期研發(fā)人數(shù)較少,公司也不確定能走多遠,業(yè)務(wù)相對簡單,業(yè)務(wù)以“快速迭代”為最高優(yōu)先級,此時一般會選擇“自己熟悉的技術(shù)”作為選型:
- 研發(fā)語言:熟PHP選PHP,熟Java選Java
- 數(shù)據(jù)庫:熟MySQL選MySQL,熟SQL-server選SQL-server
- 框架組件:熟Ruby on Rails選ROR,熟ThinkPHP選ThinkPHP,熟Spring boot才選
- …
此時千萬不要糾結(jié)選型,選自己熟悉的,業(yè)務(wù)以快速迭代為最優(yōu)先,公司得先生存下來。
多說一句,此時對于技術(shù)合伙人的技術(shù)視野就有一定要求,如果早期方向不對,等公司發(fā)展若干年,數(shù)據(jù)量并發(fā)量上漲很多倍,成本以及未來的技術(shù)應(yīng)對恐怕會有麻煩。
58同城早期選型是微軟技術(shù)體系,后來數(shù)據(jù)量增大,并發(fā)量增大,機器數(shù)據(jù)庫越來越多,性能扛不住,成本也扛不住(你猜一個SQL-server的licence一年多少錢?),后來CTO帶領(lǐng)大家轉(zhuǎn)型開源陣營,雖然陣痛了1-2年,但長遠來說,絕對是正確的決策。
如今,如果你再創(chuàng)業(yè),選云,選LAMP或者Spring,八成不會走太大的彎路。
隨著規(guī)模的擴大,為什么要控制技術(shù)棧?
隨著業(yè)務(wù)越來越復(fù)雜,研發(fā)人數(shù)越來越多,如果每個leader都選擇自己擅長的框架,就會出現(xiàn)這樣的情況:
- 站點框架,team A用著SSH,team B用著Spring+SpringMVC+Mybatis;
- 服務(wù)框架,team C用著REST,team D用著dubbo,team E用著thrift;
- 數(shù)據(jù)庫訪問,team X用著mybatis,team Y用著DAO,team Z用著jdbc;
- …
對于整體而言,跨部門的調(diào)用越來越麻煩,重復(fù)造的輪子越來越多,技術(shù)效率會逐步降低,研發(fā)+測試+運維成本都越來越高。
第一個觀點:即使不自研,技術(shù)棧也請盡量統(tǒng)一。
統(tǒng)一了技術(shù)棧,為什么建議淺淺的封裝一層?
統(tǒng)一了技術(shù)棧以后,如果不封裝,redis官方Java客戶端Jedis可能有這樣一些接口:
- String Memcache::get(String key)
- String Memcache::set(String key, String value)
- String Memcache::del(String key)
淺淺的封裝一層,會變成這樣:
- String 58DaojiaKV::get(String key) {
- String result = Memcache::get(key);
- return result;
- }
- String 58DaojiaKV::set(String key, String value) {
- String result = Memcache::set(key, value);
- return result;
- }
- String 58DaojiaKV::del(String key) {
- String result = Memcache::del(key);
- return result;
- }
這有什么好處呢?
(1)對上游屏蔽底層實現(xiàn)的細節(jié),調(diào)用方不用關(guān)注緩存是memcache還是redis,調(diào)用方只關(guān)注58DaojiaKV;
(2)底層變化的時候,對上游透明,當memcache不能滿足需求,要切換為redis時,所有調(diào)用方不需要大的變化,升級一個最新的58DaojiaKV即可,58DaojiaKV的接口不變,實現(xiàn)變?yōu)椋?/p>
- String 58DaojiaKV::get(String key) {
- String result = Jedis::get(key);
- return result;
- }
- String 58DaojiaKV::set(String key, String value) {
- String result = Jedis::set(key, value);
- return result;
- }
- String 58DaojiaKV::del(String key) {
- String result = Jedis::del(key);
- return result;
- }
(3)統(tǒng)一實現(xiàn)一些通用的功能,就不需要每一個上游升級了,例如,要實現(xiàn)一個緩存訪問時間統(tǒng)計的功能,所有調(diào)用方不需要大的變化,升級一個最新的58DaojiaKV即可:
- String 58DaojiaKV::get(String key) {
- Long startTime = now();
- String result = Jedis::get(key);
- Long endTime = now();
- reportKVTime(startTime- endTime);
- return result;
- }
- String 58DaojiaKV::set(String key, String value) {
- Long startTime = now();
- String result = Jedis::set(key, value);
- Long endTime = now();
- reportKVTime(startTime- endTime);
- return result;
- }
- String 58DaojiaKV::del(String key) {
- Long startTime = now();
- String result = Jedis::del(key);
- Long endTime = now();
- reportKVTime(startTime- endTime);
- return result;
- }
同理,如果要實現(xiàn)統(tǒng)一的告警,調(diào)用鏈跟蹤,SQL執(zhí)行時間,也可以用類似的方法。
第二個觀點:第三方庫,不但要統(tǒng)一,還可以淺淺的封裝一層,預(yù)留未來的擴展性。
隨著規(guī)模的進一步擴大,為什么需要適當?shù)脑煲恍┹喿?
業(yè)務(wù)進一步發(fā)展,研發(fā)團隊進一步擴張,雖然使用了統(tǒng)一的技術(shù)棧,但不同研發(fā)團隊的痛點是極其類似的:
- 有站點,監(jiān)控服務(wù)的可用性,處理時間監(jiān)控需求;
- 有告警需求;
- 有自動化發(fā)布,自動化運維需求;
- 有服務(wù)治理,服務(wù)自動發(fā)現(xiàn)需求;
- 有調(diào)用鏈跟蹤需求;
- 有SQL監(jiān)控需求;
- 有系統(tǒng)層面數(shù)據(jù)收集與可視化展現(xiàn)的需求;
- …
此時,開源的框架可能滿足不了需求了:
- 開源框架/組件太重了,我們需要的可能只是一個輕量級的框架/組件;
- 開源框架/組件,只能滿足我們的一部分需求;
- 不了解開源框架/組件的設(shè)計理念,要二次開發(fā)成本更高(維護dubboX的同學(xué),維護數(shù)據(jù)庫中間件Atlas的同學(xué)可以出來說兩句);
- 有些通用的需求是和業(yè)務(wù)緊密結(jié)合的,開源框架/組件可能滿足不了;
- …
此時,如果技術(shù)實力具備,可以統(tǒng)一研發(fā)一些框架和組件,解決所有技術(shù)團隊的通用痛點,滿足所有技術(shù)團隊的通用需求。
第三個觀點:適當造一些輪子。
總結(jié)
框架組件,是否需要自研?初期建議:不自研,用熟悉的,業(yè)務(wù)快速迭代為優(yōu)先,需要一定技術(shù)視野。
長遠建議:
- 統(tǒng)一技術(shù)棧;
- 淺淺封裝一層;
- 適當造輪子;
【本文為51CTO專欄作者“58沈劍”原創(chuàng)稿件,轉(zhuǎn)載請聯(lián)系原作者】