編者按：51CTO記者在International ArchSummit架構(gòu)師峰會(huì)上，針對(duì)一淘的搜索引擎技術(shù)對(duì)一淘網(wǎng)架構(gòu)師曲琳的采訪，談?wù)勔恍┧阉饕娴募夹g(shù)與研發(fā)的協(xié)調(diào)與合作關(guān)系。

[[92946]]

曲琳，一淘網(wǎng)架構(gòu)師，主要在一淘網(wǎng)負(fù)責(zé)搜索引擎技術(shù)。

1、 首先，能簡(jiǎn)單的介紹一下自己么？

我是08年浙大畢業(yè)的博士生，畢業(yè)之后我就去了alibaba，當(dāng)時(shí)是在B2B搜索中心在做alibaba中文站和國際站的搜索后臺(tái)，之后又到了阿里云，又到了淘寶，而現(xiàn)在是在一淘。而整個(gè)過程里都是在搜索這個(gè)領(lǐng)域上，垂直搜索這一塊做引擎開發(fā)工作。大概的背景就是這樣。

1） 你大學(xué)是學(xué)什么專業(yè)的？

我不是計(jì)算機(jī)專業(yè)的，我是學(xué)電子信息技術(shù)及儀器，應(yīng)該是屬于近計(jì)算機(jī)專業(yè)吧。我博士研究方向是挖掘相關(guān)的，是智能監(jiān)控方向。其實(shí)具體在學(xué)校做的事情是嵌入系統(tǒng)這些，偏嵌入系統(tǒng)的軟件。當(dāng)然我們這個(gè)方向是有硬件有軟件的，所以這個(gè)背景會(huì)對(duì)硬件更加的了解一些。

2）當(dāng)時(shí)學(xué)的東西和你后來做的搜索你覺得關(guān)系大嗎？

你如果說領(lǐng)域的話其實(shí)是相差蠻大的，當(dāng)然也略有些聯(lián)系，在相關(guān)性方面，其實(shí)都會(huì)用到一些數(shù)據(jù)挖掘方法。但是在引擎平臺(tái)上講具體的領(lǐng)域其實(shí)是有很大偏差的，當(dāng)然在這個(gè)軟件設(shè)計(jì)或者是開發(fā)這個(gè)角度其實(shí)它的基礎(chǔ)背景都是差不多的。剛開始來Alibaba的時(shí)候是有些挑戰(zhàn)的，一個(gè)全新的領(lǐng)域需重頭學(xué)習(xí)。

3）您一開始加入Alibaba的時(shí)候，是有資深的工程師帶您么？

Alibaba這個(gè)文化，就是你去這個(gè)公司會(huì)有個(gè)師兄，然后他會(huì)在不僅僅是你工作上的，包括你生活上一有困難的時(shí)候都可以跟他商量。我們叫他Buddy也好，更多的是一種平等的方式，你可以直接的交流。他并不是你的直接領(lǐng)導(dǎo)，你的主管可能是另外一個(gè)人。這個(gè)Buddy可能是會(huì)稍微在公司呆過一段時(shí)間的，對(duì)公司比較熟悉了解的，這樣一個(gè)相對(duì)比較資深的人。在這個(gè)過程當(dāng)中來帶領(lǐng)你，所以你的工作在他的幫助下一點(diǎn)一點(diǎn)的開展起來。

2、 一淘網(wǎng)的搜索技術(shù)部主要承擔(dān)了哪些職責(zé)？

現(xiàn)在在一淘的搜索技術(shù)部其實(shí)是承擔(dān)除了阿里云之外的整個(gè)Alibaba集團(tuán)的搜索業(yè)務(wù)，都在一淘搜索，包括淘寶的主搜索，還有一淘本身的搜索，還有Alibaba B2B的中文站、國際站、速賣通，所有搜索后臺(tái)都是在一淘搜索這個(gè)部門，都是由我們來支持的。

1）那往其他部門部署也是由你們來支持嗎？

其實(shí)并不是這樣的，這個(gè)我們可能會(huì)說在那邊的業(yè)務(wù)，在一個(gè)具體應(yīng)用上的業(yè)務(wù)就是由我們這邊的人來負(fù)責(zé)的，并不是那邊部門由具體的人來負(fù)責(zé)我們給他提供代碼不是這樣的。我們直接是提供服務(wù)的，包括引擎的運(yùn)維，從開發(fā)到最終上線，到業(yè)務(wù)需求的滿足都是在一淘搜索的。

2）相當(dāng)于他們是你們的客戶，他們說我們要搜索服務(wù)，然后你們提供給他們？

我們是以服務(wù)化形式來支持各個(gè)部門，支持各應(yīng)用業(yè)務(wù)。

3、 工程師們跟業(yè)務(wù)部門是如何協(xié)作的？

一般來說直接跟工程師打交道的是產(chǎn)品部門，當(dāng)然也會(huì)有些運(yùn)營部門來提需求，我們針對(duì)每個(gè)需求方都會(huì)有專門的技術(shù)的接口，那可能在具體的開發(fā)過程當(dāng)中會(huì)有個(gè)項(xiàng)目經(jīng)理這樣的角色，可能是從技術(shù)團(tuán)隊(duì)當(dāng)中出這么個(gè)角色來協(xié)調(diào)這個(gè)整個(gè)的開發(fā)過程，還有需求的溝通都會(huì)有這樣的一個(gè)角色來承擔(dān)，來協(xié)調(diào)。那么我們可能對(duì)每一個(gè)具體的業(yè)務(wù)建議會(huì)有專門的團(tuán)隊(duì)來支持，比如說我，其實(shí)是負(fù)責(zé)一淘的搜索后臺(tái)，那么我們會(huì)有另外的一些小團(tuán)隊(duì)負(fù)責(zé)淘寶主搜索的，針對(duì)每一個(gè)具體的應(yīng)用都會(huì)這個(gè)業(yè)務(wù)需求的定制，還會(huì)有這種針對(duì)業(yè)務(wù)的性能優(yōu)化，還有引擎的部署，調(diào)優(yōu)，甚至?xí)行┓撬阉鞯倪@個(gè)服務(wù)。其實(shí)搜索引擎并不僅僅是這個(gè)核而已，你為了提供完整的服務(wù)，可能還會(huì)有些key-value的東西，或者是有一些在線計(jì)算實(shí)時(shí)計(jì)算的一些服務(wù)，還會(huì)有一些離線的，數(shù)據(jù)挖掘的，算法相關(guān)的，還可能會(huì)有些比如索引build，數(shù)據(jù)的抓取，或者是dump，這個(gè)一整套的工作都會(huì)有針對(duì)業(yè)務(wù)的定制。

4、 那其實(shí)像你剛剛說這個(gè)協(xié)調(diào)產(chǎn)品和技術(shù)雙方的角色是不是對(duì)兩邊都非常熟悉？

對(duì)。一般來說你要協(xié)調(diào)這個(gè)項(xiàng)目的話你首先要有非常多的這個(gè)項(xiàng)目經(jīng)驗(yàn)，另外一方面你得對(duì)整個(gè)技術(shù)的上下游，其實(shí)這個(gè)搜索的戰(zhàn)線是蠻長(zhǎng)的，從后到前經(jīng)歷的各個(gè)角色很多，首先你得有這個(gè)經(jīng)驗(yàn)?zāi)愕昧私庹麠l線的這個(gè)情況，這樣的話你才能在各各技術(shù)方案當(dāng)中選擇一個(gè)比較合理的。這里可能還不涉及到架構(gòu)的問題，在做具體的業(yè)務(wù)需求更多的是怎么樣把這個(gè)流程看起來能夠選擇一個(gè)方案來實(shí)現(xiàn)需求。另一方面你也得了解業(yè)務(wù)，不僅僅要了解技術(shù)，可能你要從具體的項(xiàng)目當(dāng)中了解整個(gè)產(chǎn)品的一個(gè)規(guī)劃，甚至對(duì)用戶的體驗(yàn)?zāi)阋懈杏X，怎么樣做才是更合理的方向，或者在這個(gè)需求的tradeoff時(shí)候你得找到一個(gè)比較合適的度，不能一味的滿足這個(gè)產(chǎn)品的想法，跟這個(gè)技術(shù)實(shí)現(xiàn)的難度當(dāng)中要做些折中的，這里面其實(shí)對(duì)項(xiàng)目接口那個(gè)角色的要求是蠻高的。

1）一般在Alibaba做到這樣的能力需要大概3-5年？

其實(shí)更多的可能是通過時(shí)間的鍛煉和更了解一些，一般說有2年左右豐富經(jīng)驗(yàn)的人才能去勝任這樣的角色。與你所做的這個(gè)崗位也有關(guān)系，可能引擎的同學(xué)對(duì)這個(gè)流程比較熟悉一些，因?yàn)樗麄儗僭谡麄€(gè)流程的中心。偏前端的同學(xué)可能在做這種用戶界面定制，用戶體驗(yàn)相關(guān)的這種需求，他會(huì)更有經(jīng)驗(yàn)一些。 

2）那么運(yùn)維和研發(fā)直接是怎么合作的？

其實(shí)在alibaba技術(shù)保障這個(gè)團(tuán)隊(duì)是非常強(qiáng)大的，在alibaba這個(gè)規(guī)模的服務(wù)器很多，一定要是有一個(gè)統(tǒng)一的管理的，不可能是把機(jī)器交給各各應(yīng)用方去管理，這個(gè)也沒辦法去處理，首先在整個(gè)基礎(chǔ)的設(shè)施上，比如說機(jī)房，服務(wù)器，基礎(chǔ)網(wǎng)絡(luò)，服務(wù)器的監(jiān)控，就是基礎(chǔ)的硬件維護(hù)上面都是有專門的團(tuán)隊(duì)去做的。Alibaba技術(shù)保障部來負(fù)責(zé)這件事情，技術(shù)的運(yùn)維平臺(tái)他們會(huì)保障。其實(shí)針對(duì)具體的應(yīng)用需求的話，比如說搜索的這種運(yùn)維特性跟存儲(chǔ)的特性和偏服務(wù)的需求沒差別的，這是與你具體的應(yīng)用有關(guān)的。

比如說搜索可能它會(huì)因?yàn)閿?shù)據(jù)訪問的特性，可能會(huì)有中間的角色，這個(gè)角色它的流量會(huì)很大，并不是平均訪問的。那么在這種情況下對(duì)服務(wù)器的要求就會(huì)有不同，他不會(huì)用同個(gè)服務(wù)器來統(tǒng)一解決這個(gè)問題。就可能在這些方面你可能要針對(duì)應(yīng)用特性還做一些針對(duì)網(wǎng)絡(luò)或者針對(duì)服務(wù)器甚至針對(duì)交換機(jī)的這種定制，或者是做出這種配置，或者說在這個(gè)應(yīng)用層上這種應(yīng)用服務(wù)的管理，這個(gè)可能就要跟開發(fā)密切的結(jié)合，因?yàn)槟惚仨氁私膺@個(gè)服務(wù)是怎么用的，才能把它運(yùn)維好。所以這個(gè)角色可能就會(huì)更加偏向于應(yīng)用，我們叫它PE，這個(gè)PE的團(tuán)隊(duì)更多的是跟開發(fā)團(tuán)隊(duì)有密切的聯(lián)系，甚至?xí)o開發(fā)團(tuán)隊(duì)提需求，這叫可運(yùn)維性的需求。其實(shí)在公司發(fā)展到一定規(guī)模的時(shí)候，或者說應(yīng)用發(fā)展到一定規(guī)模的時(shí)候，可運(yùn)維性一定是你軟件設(shè)置當(dāng)中必須考慮的一個(gè)問題。

像這次的大會(huì)，你仔細(xì)去看你會(huì)發(fā)現(xiàn)所謂的這種大數(shù)據(jù)，或者是搜索規(guī)模問題，其實(shí)大家都在解一個(gè)問題，就是這個(gè)可運(yùn)維性的問題。就是你怎么把一個(gè)運(yùn)算用分布式架構(gòu)來解決。分布式架構(gòu)是什么？首先是怎么拆分?jǐn)?shù)據(jù)，然后可用性的問題和擴(kuò)展性的問題，不可避免的一個(gè)問題是機(jī)器的損害，故障恢復(fù)問題，這其實(shí)就是分布設(shè)計(jì)最基礎(chǔ)的問題。它的根源其實(shí)就是來自于可運(yùn)維性的，在結(jié)合運(yùn)載做的一些改動(dòng)都是跟開發(fā)人員密切相關(guān)的。

在我們這個(gè)一淘的搜索上其實(shí)我們開發(fā)和運(yùn)維是有一個(gè)很密切的聯(lián)系的。甚至有些開發(fā)人員他會(huì)去運(yùn)維做領(lǐng)導(dǎo)，這個(gè)其實(shí)是對(duì)我們開發(fā)人員來說也是一個(gè)基本的要求，安排你去運(yùn)維這個(gè)崗位上做半年到一年，讓你了解線上系統(tǒng)是怎么去運(yùn)維的，只有你在真正的去做過以后你才能在軟件設(shè)計(jì)或架構(gòu)設(shè)計(jì)的時(shí)候才知道什么事真正可運(yùn)維的，而不是說你只是做個(gè)簡(jiǎn)單的程序，要后面套一個(gè)很復(fù)雜的運(yùn)維腳本去來給你做這種可運(yùn)維性的事情，而是這種可運(yùn)維性是嵌入到你系統(tǒng)核心的設(shè)計(jì)當(dāng)中，這個(gè)是我們?cè)谝惶缘乃阉鳟?dāng)中的一個(gè)做法，這個(gè)應(yīng)該也是目前各大公司的一個(gè)方向吧。

3）像是在你們的部門，我是一個(gè)新進(jìn)來的研發(fā)，那么我有哪些發(fā)展路線可以選擇？

其實(shí)這個(gè)也有些區(qū)別，比如說一個(gè)應(yīng)屆的同學(xué)剛到我們團(tuán)隊(duì)的話在淘寶首先是一個(gè)淘寶文化的培訓(xùn)，大概有一周到兩周的時(shí)間，這個(gè)可能相對(duì)的比較泛一些，包括公司的一些文化等等，可能不會(huì)涉及到一些技術(shù)。應(yīng)該說不管什么崗位，甚至非技術(shù)的都一樣參加這個(gè)培訓(xùn)的。這個(gè)培訓(xùn)之后會(huì)有個(gè)技術(shù)大學(xué)的課程，技術(shù)同學(xué)會(huì)有兩周的時(shí)間把整個(gè)（不僅僅是搜索）淘寶的技術(shù)體系，比如說信息存儲(chǔ)，比如主站相對(duì)應(yīng)的服務(wù)，應(yīng)該是最基礎(chǔ)的吧，大概這些是怎么做的都會(huì)給你個(gè)介紹。然后在這段培訓(xùn)之后，你可以回到部門，在部門里面也會(huì)有培訓(xùn)計(jì)劃，比如針對(duì)搜索的話我們會(huì)有搜索的這些入門的東西，不是所有人都了解搜索這個(gè)領(lǐng)域嘛，然后還好針對(duì)我們所用的一些技術(shù)，比如說我們弄個(gè)C++，或者說我們?cè)谶@個(gè)版本管理上的一些具體的工具，甚至開發(fā)工具上我們都會(huì)有一些培訓(xùn)，這個(gè)是在我們這個(gè)部門的平面上。

在你具體工作的時(shí)候我們會(huì)有師兄他會(huì)從你的工作一點(diǎn)一點(diǎn)的帶你做起來?？赡茉谖覀冞@應(yīng)屆生剛來的時(shí)候，其實(shí)大家方向都不太明確，那么可能會(huì)是你的主管或者你的分配工作，從一個(gè)具體的事情做起。然后可能先把各各領(lǐng)域方面的事情都做些嘗試，再有一個(gè)比較廣度的積累之后，你就可以從你做的事情當(dāng)中尋找一個(gè)可以深入做下去的點(diǎn)。當(dāng)然可能你能做的事情很多，可以偏向應(yīng)用，針對(duì)應(yīng)用做一些需求相關(guān)的工作，也可以針對(duì)引擎性能相關(guān)的，這種地位都是存在的?？赡芎竺鏁?huì)根椐這種具體的需求和情況來結(jié)合你自己的興趣來找到你這個(gè)可以深入做下去的點(diǎn)。大概我們的新人過程就是這樣的，整個(gè)過程有個(gè)半年左右吧，實(shí)話說搜索這個(gè)領(lǐng)域從入門到精通需要蠻長(zhǎng)時(shí)間的。

4）那如果說成長(zhǎng)目標(biāo)是架構(gòu)師呢？

其實(shí)架構(gòu)師的這個(gè)title是一個(gè)比較虛的title，我相信在互聯(lián)網(wǎng)行業(yè)不會(huì)有一個(gè)很明確的職位或者title去叫架構(gòu)師。當(dāng)然也可能會(huì)有一些公司有這種title，但是在淘寶大家都是屬于工程師，可能你所做的事情會(huì)覆蓋到一部分架構(gòu)的工作，或多或少的，但不是說在淘寶并沒有這樣一個(gè)角色說他就不編碼或者說不去負(fù)責(zé)具體的模塊設(shè)計(jì)或者他只是負(fù)責(zé)高層架構(gòu)的很少。幾乎沒有這種，主要原因是在于這個(gè)領(lǐng)域變化太快了，你經(jīng)驗(yàn)消退的速度會(huì)非常的快，你必須要在具體的需求和具體的工作當(dāng)中去尋找這樣架構(gòu)的機(jī)會(huì)，而不是說自上而下的普通的這種架構(gòu)，不現(xiàn)實(shí)。在我們一淘搜索可能更多的還是說工程師這個(gè)等級(jí)。就是說你在這個(gè)工程師這個(gè)領(lǐng)域上的，或者這條線上你做的有多深。這個(gè)可能更多的是你經(jīng)驗(yàn)的積累，可能還會(huì)有架構(gòu)的經(jīng)驗(yàn)。當(dāng)然最重要的還是說你在開發(fā)上的積累，或者說在產(chǎn)品上的一些靈感。