揭秘國內(nèi)機(jī)器學(xué)習(xí)人才的職業(yè)發(fā)展/就業(yè)方向/薪資狀況
一、機(jī)器學(xué)習(xí)相關(guān)的公司分析
1、大的有師傅的公司
這類公司主要是百度,阿里和騰訊。共同的特點(diǎn)是數(shù)據(jù)很大,機(jī)器學(xué)習(xí)的團(tuán)隊(duì)比較龐大,一般進(jìn)去的同學(xué)都可以有師傅帶著學(xué)習(xí),進(jìn)步會比較快。
但是三個公司的特點(diǎn)也有所不同。
百度是我認(rèn)為在業(yè)務(wù)和技術(shù)之間匹配的***,并且從基礎(chǔ)到應(yīng)用搭配的***的公司。機(jī)器學(xué)習(xí)方面的能力對于百度的廣告,搜索,移動搜索,LBS,應(yīng)用分發(fā),移動音樂,移動閱讀,移動新聞,圖片搜索,語音輸入,瀏覽器,視頻等所有業(yè)務(wù)都非常重要;而百度也非常重視機(jī)器學(xué)習(xí)團(tuán)隊(duì)的搭建。目前在產(chǎn)品方面的表現(xiàn)也非常不錯。如果近期加入的團(tuán)隊(duì)一旦在基礎(chǔ)研究以及產(chǎn)品化方面有巨大突破的話,百度的各個核心產(chǎn)品都可能大大的超出其他公司的產(chǎn)品。
百度的機(jī)器學(xué)習(xí)人才的需求種類最寬。
阿里目前的機(jī)器學(xué)習(xí)人才主要用在業(yè)務(wù)挖掘,廣告和推薦方面。和阿里的業(yè)務(wù)非常的匹配;根據(jù)IPO公告,以及近期的動作,阿里未來的業(yè)務(wù)發(fā)展方向主要是電商業(yè)務(wù)的區(qū)域擴(kuò)張(向下是向縣城擴(kuò)張,向上是跨國業(yè)務(wù)的發(fā)展)以及產(chǎn)品品類的擴(kuò)張(從實(shí)物產(chǎn)品的電商向服務(wù),金融方向的擴(kuò)張。)從這種趨勢來看,未來阿里的機(jī)器學(xué)習(xí)人才需求還是以業(yè)務(wù)挖掘,廣告和推薦方面的人才需求為主(圖像處理和NLP作為feutrue的提供者,也有需求)。
騰訊公司過去的主要業(yè)務(wù)是建立在社交網(wǎng)絡(luò)之上的游戲,互聯(lián)網(wǎng)增值服務(wù)(會員和道具之類的),廣告等。根據(jù)年報(bào),我認(rèn)為騰訊今后的重點(diǎn)是在微信的基礎(chǔ)上來發(fā)展盈利性業(yè)務(wù),目前能夠看到的業(yè)務(wù)有游戲,電商,支付,嘀嘀打車等;騰訊也單獨(dú)把廣告和視頻業(yè)務(wù)提出來當(dāng)做重點(diǎn)業(yè)務(wù)。
結(jié)合以上對于騰訊的業(yè)務(wù)分析和預(yù)測,以及之前對于騰訊的職位的一些認(rèn)識,我認(rèn)為騰訊今后對于機(jī)器學(xué)習(xí)類人才的需求主要有業(yè)務(wù)挖掘,廣告算法,推薦等。
從業(yè)務(wù)上來看,三家公司都具有收入和利潤基本都來自核心業(yè)務(wù)(百度主要來自于搜索廣告;騰訊主要來自于游戲和增值服務(wù),阿里主要來自于電商廣告),同時(shí)有向其他倆家的核心業(yè)務(wù)擴(kuò)展的動作但是沒有成功的特點(diǎn)(百度嘗試過電商和社交;阿里嘗試過社交,也正在做搜索;騰訊嘗試過搜索,也在做電商)。
從戰(zhàn)略和職位設(shè)置來看,百度是從基礎(chǔ)到產(chǎn)品都做;而阿里和騰訊主要側(cè)重于應(yīng)用。
2、中等規(guī)模的團(tuán)隊(duì)搭建中的公司以及專業(yè)公司
有一些公司,相對于BAT來說,市場地位相對較弱,但是公司的市場地位也不錯;同時(shí)機(jī)器學(xué)習(xí)的團(tuán)隊(duì)相對較小,或者布置的普遍程度相對較弱。
比如當(dāng)當(dāng),攜程,去哪兒,360,58同城,優(yōu)酷,樂視。這類公司一般會設(shè)置倆類機(jī)器學(xué)習(xí)的崗位,一是業(yè)務(wù)挖掘類崗位,另外就是推薦和廣告算法的團(tuán)隊(duì)。這類公司具有市場地位不夠穩(wěn)固,機(jī)器學(xué)習(xí)團(tuán)隊(duì)相對較弱或者較新的特點(diǎn)。
同樣有一些中等規(guī)模的廣告行業(yè)的專業(yè)公司,也有機(jī)器學(xué)習(xí)的團(tuán)隊(duì),比如MediaV,品友互動等公司。這類公司主要的崗位是計(jì)算廣告算法工程師。
3、小的專業(yè)公司
在移動互聯(lián)網(wǎng)快速發(fā)展的今天,有一些專業(yè)性的小公司,產(chǎn)品本身對于機(jī)器學(xué)習(xí)技術(shù)的依賴性非常大,也設(shè)置了機(jī)器學(xué)習(xí)的崗位,這些小公司大多數(shù)是創(chuàng)業(yè)公司,業(yè)務(wù)發(fā)展的不確定性比較大,同時(shí)需要的機(jī)器學(xué)習(xí)人才和業(yè)務(wù)本身的相關(guān)性非常大。
比如口袋購物(主要需求的是推薦算法,廣告算法,NLP和圖像處理人才),今日頭條(主要需要的是文本挖掘,推薦等人才),微博易(主要需要的是文本挖掘類人才),出門問問(主要需要的是語音識別,搜索的人才)。
不同類型的公司對于人才的要求不同,對于能夠帶給人才的東西也不同,各有優(yōu)劣。同學(xué)們可以根據(jù)自己的情況靈活的選擇,每類公司中都有非常好的公司和崗位!
二、機(jī)器學(xué)習(xí)相關(guān)職位分析
1、互聯(lián)網(wǎng)業(yè)務(wù)挖掘
使用的主要數(shù)據(jù)和要解決的問題,初級的業(yè)務(wù)挖掘人員的工作會離數(shù)據(jù)和算法更近;高級的業(yè)務(wù)挖掘人員會離用戶和業(yè)務(wù)更近。
職位需求趨勢:
這類職位的需求量非常大,基本所有的主要互聯(lián)網(wǎng)公司都設(shè)置了這個崗位。這個崗位的名字常常有“分析師”,“數(shù)據(jù)挖掘工程師”等。
零售,金融,電信,制造業(yè)等行業(yè)對于互聯(lián)網(wǎng)業(yè)務(wù)挖掘人員也持歡迎態(tài)度。近幾年對于這類人才的需求很能會有非常大的增長。
薪水狀況:
從我接觸到的獵頭職位的情況來看,在這個崗位上工作三四年,能夠獨(dú)立和業(yè)務(wù)部門以及技術(shù)部門溝通,并且能夠靈活的應(yīng)用數(shù)據(jù)為業(yè)務(wù)部門提出解釋和建議的人才的年度薪水在20萬元到35萬元左右。2年前見過大的互聯(lián)網(wǎng)公司的分析總監(jiān)給到50萬元以上。
職業(yè)發(fā)展前景:
我個人認(rèn)為人類曾經(jīng)經(jīng)歷過火車時(shí)代,電力時(shí)代,汽車時(shí)代,電子時(shí)代;當(dāng)下的時(shí)代是數(shù)據(jù)時(shí)代。具有良好的數(shù)據(jù)分析能力的人對于越來越多的企業(yè)具有至關(guān)重要的作用。根據(jù)海德思哲公司的分析,未來的企業(yè)***人物往往是business+science+technology三方面都很強(qiáng)的人,業(yè)務(wù)挖掘工程師的工作內(nèi)容和其中的倆項(xiàng)密切相關(guān)。
2、推薦算法
解決的核心問題是給用戶想要的,不要給用戶不想要的,降低用戶找東西的難度,給用戶更多的驚喜。不同的互聯(lián)網(wǎng)產(chǎn)品在不同的階段,可以通過推薦系統(tǒng)解決不同的問題和實(shí)現(xiàn)不同的目標(biāo)。
職位的設(shè)置情況和需求趨勢:
相對業(yè)務(wù)挖掘崗位,有推薦算法職位的公司數(shù)量相對比較少。能夠看到的一些公司如下。
- 電商:淘寶,當(dāng)當(dāng),京東,口袋購物。
- 視頻:優(yōu)酷土豆,愛奇藝,風(fēng)行在線,樂視。
- 音樂:豆瓣,蝦米,網(wǎng)易云音樂,百度。
- 新聞APP:今日頭條,網(wǎng)易新聞客戶端,百度新聞,指閱。
- 閱讀:盛大文學(xué),掌閱科技。
- 團(tuán)購:美團(tuán),糯米。
- 社交:微博,linkedin。
- 手機(jī)助手:豌豆莢,
- LBS推薦:百度,高德。
相對電腦,手機(jī)的私密性更強(qiáng),屏幕資源更小,可能會有更多的移動應(yīng)用公司會部署推薦算法的崗位。
薪水狀況:
我接觸到的推薦算法負(fù)責(zé)人的職位(能夠直接面對工程和產(chǎn)品部門,對推薦系統(tǒng)的效果負(fù)責(zé)),招聘方給到的年度薪在30萬元到50萬元左右。
職業(yè)發(fā)展前景:
移動互聯(lián)網(wǎng)是近幾年互聯(lián)網(wǎng)行業(yè)***的潛力細(xì)分領(lǐng)域,而推薦對于移動互聯(lián)網(wǎng)的所有產(chǎn)品都有非常重要的作用,從這個角度來講推薦算法工程師的職業(yè)前景非常不錯。
在多個移動互聯(lián)網(wǎng)的細(xì)分領(lǐng)域,推薦都處于核心地位,因此成熟的推薦算法人才創(chuàng)業(yè)的機(jī)會也比較多。
3、廣告算法
數(shù)據(jù)主要是倆塊,一塊是用戶的數(shù)據(jù),除了公司自有的數(shù)據(jù)以外,也可以通過DMP(數(shù)據(jù)管理平臺)獲取到一些用戶的數(shù)據(jù);另外一塊是關(guān)于廣告的數(shù)據(jù)。
需要解決的問題就是把用戶和進(jìn)行更好的匹配,提升總體的市場效率。其中CTR預(yù)估是非常重要的工作內(nèi)容。
職位的設(shè)置情況和需求趨勢:
和其他的職位相比,計(jì)算廣告的公司數(shù)量比較集中。公司主要分為三類。
一類是有Exchange或者類似體量的公司(相當(dāng)于有設(shè)局或者設(shè)立證券交易所的公司),有百度,淘寶,騰訊,搜狗,360,微軟,雅虎。這類公司的流量很大,廣告主的數(shù)量也很大,他們制定各自的市場內(nèi)的游戲規(guī)則(主要是資源分配的辦法以及結(jié)算辦法。)
另外一類是DSP(Demand side platform),比如MediaV,品友互動,浪淘金等。這類公司本身沒有大的流量,但是都在努力建立相對廣告主更為有效的廣告投放能力,主要從廣告主掙錢。主要的目標(biāo)是幫助廣告主更有效率的把廣告投放到目標(biāo)群體身上。
第三類公司是類似58同城,優(yōu)酷,新浪微博這樣的大媒體?;蛘叨嗝诉@樣的SSP(Supply sideplatform)。這類公司自己有一定的流量,也有一些廣告主客戶。也需要有人來做市場效率的提升。
新增職業(yè)機(jī)會的來源,我能夠看到的主要有以下幾種。一種是在搜索市場上取得突破后需要建立商業(yè)變現(xiàn)體系的360;還有一些是來自于對淘寶模式模仿的電商公司,比如當(dāng)當(dāng);還有一類是互聯(lián)網(wǎng)廣告公司的業(yè)務(wù)拓展和創(chuàng)新,比如SSP公司向DSP業(yè)務(wù)的拓展,或者互聯(lián)網(wǎng)廣告監(jiān)測公司,或者廣告生態(tài)種新的角色誕生帶來的新職位機(jī)會。
近幾年看到的互聯(lián)網(wǎng)廣告相關(guān)的變化主要有2個,一個是谷歌采用GSP(General second price)競價(jià)方式并逐步被別的公司跟進(jìn);另外一個變化就是有些DSP公司大力倡導(dǎo)RTB(Real time bidding)。這些變化都沒有帶來行業(yè)內(nèi)計(jì)算廣告人才需求量的急速增長??次磥?,廣告生態(tài)系統(tǒng)的逐漸完善而催生出的新的細(xì)分行業(yè)和公司,也沒有看到能夠帶來大的新增職位的急速增長。
但是互聯(lián)網(wǎng)廣告行業(yè)面臨的挑戰(zhàn)和機(jī)會也很多,比如多屏互動的期望,以及廣告主日益增長的需求,都對企業(yè)的創(chuàng)新提出了要求。
綜合以上,計(jì)算廣告行業(yè)未來的人才需求特點(diǎn)可能是“少而精”。
薪水狀況:
廣告目前是互聯(lián)網(wǎng)行業(yè)最重要的收入來源。從百度公司和阿里集團(tuán)招股書中就可以看出,這倆個公司收入的絕大部分都來自廣告。
因此計(jì)算廣告人才的薪水也非常的高。
我了解到的比較成熟的計(jì)算廣告人才(同時(shí)在算法和工程方面很成熟)的年收入有50萬元到150萬元左右 。
職位發(fā)展前景:
一旦進(jìn)入計(jì)算廣告行業(yè),相對其他職位來說,創(chuàng)業(yè)機(jī)會較少。更有可能的是在行業(yè)內(nèi)的少數(shù)幾個公司成長。該類人才的創(chuàng)業(yè)機(jī)會可能需要具備幾個條件,***是外圍環(huán)境的重大變化導(dǎo)致的新類型公司的創(chuàng)立機(jī)會比較成熟,這個周期可能比較長;另外要有大量資金的支持;另外相對來說可能風(fēng)險(xiǎn)會比較大。
4、NLP
使用的數(shù)據(jù)和要解決的問題:
使用的數(shù)據(jù)主要是人們?nèi)粘kS意寫出來的或者說出來的話。比如新聞,文章,微博上的話,qq的聊天,貼吧里的話,博客上的話,企業(yè)呼叫中心的對話等。
要解決的問題主要是對這些內(nèi)容進(jìn)行抽象,映射或者響應(yīng)。比如信息抽?。麑?shí)體識別,情感分析等),機(jī)器翻譯,聚類,分類,自動問答等。
職位的設(shè)置情況和需求趨勢:
目前看到的NLP崗位設(shè)置主要有以下幾類。
一類是在搜索公司的query處理相關(guān)的工作。目前我了解到的工作主要分倆個部分,一個部分是做query的糾正,改寫,或者近義詞分析等;另外一類工作是做Topic model的研究,意思就是把用戶的需求抽象在一個“model”上,而同時(shí)預(yù)先把網(wǎng)頁到抽象到一個“model”上,然后在model內(nèi)部挑選出用戶最感興趣的網(wǎng)頁優(yōu)先展示。
還有一類是研發(fā)機(jī)構(gòu)的研究崗位,比如微軟,富士通研發(fā),三星通信等機(jī)構(gòu)都有NLP的研發(fā)崗位。
第三類崗位就是一些專業(yè)性公司,比如口袋購物,微博易,今日頭條,掌閱科技,簡網(wǎng)世紀(jì)這樣的公司。在這些公司里NLP和圖像處理的工作地位類似,就是為下一步的處理提供feature。
從用戶端來看,WEB2.0的出現(xiàn),以及社交網(wǎng)絡(luò)的大力發(fā)展,為NLP積累下了大量的數(shù)據(jù),同時(shí)企業(yè)也越來越重視通過網(wǎng)絡(luò)來傾聽用戶,以及和用戶進(jìn)行溝通;同時(shí)信息的急速增長,導(dǎo)致用戶對于個性化產(chǎn)品的需求越發(fā)明顯,也促進(jìn)了NLP工作的推進(jìn)和崗位的設(shè)置。
今后NLP的崗位會急速增長。增長的來源一部分來自于搜索引擎公司,根據(jù)李航前輩的微博,未來搜索突破可能來自倆個方向,一個方向是LTR(Learning to rank),另外的一個方向是Semantic match。我的理解可能semantic mtach需要大量的NLP的工作和人才。
另外一類職位我覺得來自于大量的已經(jīng)產(chǎn)生的大量非結(jié)構(gòu)化的數(shù)據(jù)處理相關(guān)的公司,以及從大量的語音識別轉(zhuǎn)化出來的數(shù)據(jù)的利用相關(guān)的公司。這個具體是在哪個方向上不好說,但是我想趨勢上一定是企業(yè)對于海量用戶產(chǎn)而生的嘈雜的聲音的理解和利用。數(shù)據(jù)的量還在不斷的急速增加,NLP工作量和任務(wù)類型也在增加,最終導(dǎo)致崗位需求的增加。
薪水狀況:
NLP人才的需求不象數(shù)據(jù)挖掘和推薦那樣量大和緊缺,和其他的職位相比薪水比較溫和。
我接觸過的獵頭職位,有公司愿意給工作2年左右的NLP工程師20到30萬元的年度工資;也有創(chuàng)業(yè)公司愿意給NLP leader50萬元以上的年度工資。
職位發(fā)展前景:
我預(yù)測NLP工程師在原公司的職業(yè)生命活力會比較強(qiáng)(數(shù)據(jù),算法以及工作目標(biāo)可能都會有新的挑戰(zhàn)和機(jī)會進(jìn)來);同時(shí)成熟的人才也會有很多創(chuàng)業(yè)機(jī)會可以考慮。
5、圖像處理
使用的數(shù)據(jù)和要解決的問題:
面對的數(shù)據(jù)是圖像,具體也會有處理靜態(tài)圖像和動態(tài)視頻的區(qū)別。以及離線處理和在線處理的區(qū)別。
常見的要解決的問題有檢測(就是看某個圖片里是否有某類東西,比如是否有人臉),識別(就是輸入一個圖片,看這個圖片和庫里的哪個圖片是一致的。)分割,拼接,3D重建,聚類,分類等。
職位的設(shè)置情況和需求趨勢:
傳統(tǒng)的圖像處理崗位主要分布在類似智慧眼,漢王這樣的IT公司和類似佳能,微軟這樣的研發(fā)機(jī)構(gòu)中。智慧眼和漢王這樣的IT公司的產(chǎn)品,主要以行業(yè)用戶為主,應(yīng)用的場合有門禁,安全,社保識別等。
在大數(shù)據(jù)在中國興起的前后,更多的互聯(lián)網(wǎng)公司開始設(shè)立圖像處理的崗位。其中百度是把圖像和語音作為文字之外的新的搜索對象來看待的,設(shè)立了圖像處理的崗位并招聘了人才,但是具體如何產(chǎn)品化目前還不太清楚,目前看到的只有圖搜,就是把圖片拷貝到檢索欄里,然后可以看到一些檢索的結(jié)果。
淘寶以及一些其他的電商公司也設(shè)立了圖像處理或者正在招聘相關(guān)的人才,主要的工作目標(biāo)是為廣告和推薦等應(yīng)用提供feature。
與數(shù)據(jù)挖掘,推薦和NLP職位相比,圖像處理的職位數(shù)量相對較少,發(fā)展相對比較滯后,能夠看到的大眾用戶使用的產(chǎn)品相對比較少。
我個人的感覺是圖像處理行業(yè)正處在一個爆發(fā)的前夕;象智能交通事故報(bào)告系統(tǒng)(自動對攝像頭采集到的圖像進(jìn)行處理,即使在夜間也可以自動的識別出來重大事故并且提醒交警去救援),自動駕駛,離群人群自動檢測(比如機(jī)場和火車站的恐怖分子檢測)等應(yīng)用都具有足夠的價(jià)值,目前系統(tǒng)能夠做到的水平也非常接近商品化。
我的判斷是隨著技術(shù)的突破和外圍配套(包括法規(guī)或者硬件等)的成熟,圖像處理的崗位會有大的爆發(fā)。
薪水狀況:
相對其他職位來說,圖像處理的職位比較少一些;同時(shí)薪水不是很高。但是未來的收入前景不錯。
職位發(fā)展前景:
不論在公司內(nèi)部的提升,還是未來創(chuàng)業(yè)的角度來看,圖像處理工程師的發(fā)展機(jī)會都會越來越多。