在小公司如何做一名成功的數(shù)據(jù)科學(xué)家?
大數(shù)據(jù)文摘出品
來源:medium
編譯:王媛媛、劉思佳
小公司需要數(shù)據(jù)科學(xué)家么?
可能只有長(zhǎng)期混跡數(shù)據(jù)圈的老司機(jī)才有資格回答這個(gè)問題。
本文作者Randy Au,已經(jīng)在15-150人規(guī)模的公司工作了近12年,被冠于“數(shù)據(jù)分析師、工程師、偶爾還有科學(xué)家”的各種頭銜。
作者是社會(huì)科學(xué)出身,有一些自然語言處理,應(yīng)用數(shù)學(xué)和工商管理經(jīng)驗(yàn)??偠灾裁炊紩?huì)一點(diǎn)。
以下是他關(guān)于此問題的看法:
成為***個(gè)“數(shù)據(jù)全能選手”
小公司不需要數(shù)據(jù)科學(xué)家,但他們需要一個(gè)“數(shù)據(jù)全能選手”。他們可能稱這項(xiàng)工作為“數(shù)據(jù)科學(xué)家/工程師/分析師/忍者”,諸如此類。
一家20-60人規(guī)模的公司,有足夠的客戶,豐富的數(shù)據(jù)和專業(yè)化的崗位,只需要招一個(gè)能夠使用數(shù)據(jù)來提供有用的業(yè)務(wù)洞察力的人。
職位的頭銜不重要,但職位描述往往是各種各樣的混合:
- 理解我們擁有的數(shù)據(jù)
- 幫助構(gòu)建我們的數(shù)據(jù)系統(tǒng)
- 幫助我們進(jìn)行數(shù)據(jù)驅(qū)動(dòng)/運(yùn)行實(shí)驗(yàn)
- 發(fā)展業(yè)務(wù)
- 可能與任何事物相關(guān)或不相關(guān)的教育/認(rèn)證
通常情況下他們并不完全了解需要怎樣的人才。只有一種普遍意義上的“我們有數(shù)據(jù),看起來很有用,但是缺少轉(zhuǎn)化為價(jià)值的技能。”
實(shí)際上,在這個(gè)職位上的人需要同時(shí)做兩件大事:
- 今天-幫助公司取得成功
- 明天-打造數(shù)據(jù)驅(qū)動(dòng)型公司
今天-幫助公司取得成功
初創(chuàng)公司充滿了不確定性。他們不確定客戶是誰,生產(chǎn)系統(tǒng)可能很困難,不知道客戶對(duì)產(chǎn)品做了什么,不知道如何使用擁有的數(shù)據(jù)做出決策,不知道擁有的數(shù)據(jù)是否有用。
對(duì)問題的巧妙回答可以帶來更明智的決策,并希望每個(gè)人都?jí)粝氤蔀樯裨挵愕那髑虬?。難題是大多數(shù)問題都不適宜用花哨的方法。有用的通常是老辦法和基于定性方法而不是定量。
在優(yōu)化現(xiàn)有流程時(shí),大多數(shù)DS方法都是***大的,它們可以在獲取客戶,轉(zhuǎn)化客戶,客戶粘度和客戶支出等方面實(shí)現(xiàn)5%,10%甚至25%的增長(zhǎng)。A / B測(cè)試,推薦系統(tǒng),ML分類器,所有這些都有助于優(yōu)化。收益是真實(shí)的,可量化的,并且可能是顯著的,但早期可能會(huì)更重要的事要做。
早期***的影響往往是業(yè)務(wù)洞察。洞察力從根本上改變了公司做的事情。它們來自很常見的事情,例如研究用戶偏好/行為,為銷售人員揭示新的營(yíng)銷概念,或幫助產(chǎn)品團(tuán)隊(duì)意識(shí)到Twitter上最受憎恨的功能實(shí)際上被90%的付費(fèi)客戶使用。
我對(duì)“幫助公司”角色的看法是:“數(shù)據(jù)全能選手”是一種力量倍增器 。企業(yè)內(nèi)部的人有問題,工作就是幫助他們解決問題。
成為***個(gè)“數(shù)據(jù)全能選手”=成為“有數(shù)據(jù)的科學(xué)家”!
作為一名科學(xué)家對(duì)我來說意味著你遇到一個(gè)難題,一個(gè)研究型問題,你可以用任何方法來找到對(duì)這個(gè)問題的堅(jiān)實(shí)答案。
作為數(shù)據(jù)科學(xué)家,我們傾向于使用定量方法和從系統(tǒng)收集的數(shù)據(jù)來回答問題,但這不是獲得洞察力的唯一途徑。有時(shí)你精盡全力觀察或詢問用戶(定性方法),或者你出去收集數(shù)據(jù)(實(shí)驗(yàn)和調(diào)查),或者你盯住別人(競(jìng)爭(zhēng)分析)。
一個(gè)好的科學(xué)家不會(huì)通過他們的方法來定義自己,***個(gè)數(shù)據(jù)全能選手(或者任何數(shù)據(jù)全能選手)也不會(huì)。
我們的目標(biāo)是滿足緊迫的業(yè)務(wù)需求:“為什么沒有人使用我們的產(chǎn)品?”“我們的回報(bào)怎么這么高?”我們是否應(yīng)該進(jìn)行這種昂貴的銷售呢?““是什么導(dǎo)致客戶流失?”“什么是客戶的終身價(jià)值,是什么推動(dòng)了這一點(diǎn)?”
明天-打造數(shù)據(jù)驅(qū)動(dòng)型公司
我看到的一個(gè)常見的陷阱是來自數(shù)據(jù)科學(xué)計(jì)劃的人加入這些職位,期望使用像Spark這樣的性感東西并應(yīng)用RNN來完成他們的工作。但很遺憾,不匹配是非常殘酷的。
花哨的“數(shù)據(jù)科學(xué)”方法依賴于大量的東西,不要指望每一層在移動(dòng)到下一層之前都“完成”。把顏色想象成“ 花費(fèi)的時(shí)間”。
作為***個(gè)被雇用為處理數(shù)據(jù)的人,金字塔的任何一層都不太可能是堅(jiān)固的。這是一個(gè)多年,跨職能,全公司的努力才得以實(shí)現(xiàn)。并行培養(yǎng)這些技能是工作的重要部分。
請(qǐng)注意,在典型的業(yè)務(wù)中,無論底層的穩(wěn)定性如何,你都會(huì)嘗試同時(shí)在金字塔上下執(zhí)行操作。我已經(jīng)為脆弱的新系統(tǒng)構(gòu)建了大量的儀表板和分類器,你也會(huì)這樣做。
固態(tài)生產(chǎn)系統(tǒng)和工程實(shí)踐
比如在一個(gè)堅(jiān)固的“工程駕駛室”,如果系統(tǒng)出現(xiàn)故障,而且無法獲得真正測(cè)量系統(tǒng)的行為,這時(shí)候此會(huì)希望根據(jù)需要提供幫助。
你擁有的“數(shù)據(jù)工程師”頭銜越多,在幫助構(gòu)建堅(jiān)固系統(tǒng)方面所扮演的角色就越重要。人們自然會(huì)問你關(guān)于輸入的問題,如PostgresSQL vs MySQL,AWS vs GCP,Spark vs Redshift等,幫助這些可以增加持久延續(xù)的價(jià)值。如果沒有足夠的Eng資源則必須自己來設(shè)置系統(tǒng)并運(yùn)行它們。
可靠的儀器儀表
獲得可靠的儀器數(shù)據(jù)人員最關(guān)鍵的事情。這是一個(gè)無休止的程序,從挑選框架(多個(gè))到收集系統(tǒng)和用戶數(shù)據(jù),確保工程師學(xué)習(xí)如何實(shí)現(xiàn)事物而不計(jì)算錯(cuò)誤,確保數(shù)據(jù)庫和日志正在做正確的事情(TM),并確保你在計(jì)算你認(rèn)為正確的東西。
同時(shí)專門添加系統(tǒng)用來收集和報(bào)告數(shù)據(jù),這些將需要由某人(也許是你)組合和管理。
在文化方面,會(huì)不斷有人來詢問數(shù)據(jù)的可靠性以及如何處理這些信息,他們會(huì)要求解釋和深度剖析系統(tǒng),直到他們自己非常了解。
當(dāng)你制作報(bào)告時(shí),這種文化培訓(xùn)本身就是一個(gè)漫長(zhǎng)的過程,人們發(fā)現(xiàn)與其他系統(tǒng)不一致并且得到的結(jié)果與他們對(duì)現(xiàn)實(shí)的看法不相符時(shí),可能現(xiàn)實(shí)是錯(cuò)誤的,也可能是正確的。
報(bào)告和處理數(shù)據(jù)
儀表板和報(bào)告不是一項(xiàng)有趣的工作,更不幸的是,它通常是整個(gè)公司人員每天觀察公司健康狀況的唯一方式,因此投資是必要的,目標(biāo)是把可操作的信息交給可以采取行動(dòng)的人。
一開始,大多數(shù)儀表板和報(bào)告都是手動(dòng)的,需要大量的迭代才能達(dá)到需求。雖然,自動(dòng)化是一個(gè)很好的選擇,但洞察力也是需要著重考慮的。
技術(shù)方面并不復(fù)雜,有許多服務(wù)平臺(tái)可用于生成報(bào)告和儀表板,同時(shí)甚至可以使用自定義代碼執(zhí)行操作。
訣竅是讓所有數(shù)據(jù)系統(tǒng)一起玩(HaHa),并在業(yè)務(wù)增長(zhǎng)時(shí)最小化維護(hù)儀表板和報(bào)告的成本。
文化方面是事物有趣的地方。當(dāng)你正在訓(xùn)練在這里的人們變得更加數(shù)據(jù)化,這也需要多年的工作和實(shí)踐。
這里涉及大量的教育。你將教人們?nèi)绾伍喿xA / B測(cè)試的結(jié)果,重要的差異意味著什么,解釋信心或預(yù)測(cè)間隔是什么,解釋為什么該圖表“只是一個(gè)估計(jì)。你會(huì)提出有關(guān)樣本量的問題,并且經(jīng)常需要教會(huì)處理問題的方法。
如果人們關(guān)注儀表板上的數(shù)字,人們應(yīng)該怎么做?就個(gè)人而言,我告訴他們來跟我討論。他們的擔(dān)憂可能是一個(gè)研究問題(或一個(gè)錯(cuò)誤),而這就是研究“黃金”。這些人是這部分業(yè)務(wù)的領(lǐng)域?qū)<?,而我只是一個(gè)用SQL的書***。
自動(dòng)化與實(shí)驗(yàn)
隨著時(shí)間的推移,你將設(shè)置新功能何時(shí)消失的指標(biāo)和儀表板。人們不可避免地會(huì)對(duì)功能的表現(xiàn)感到失望。
一旦人們習(xí)慣了獲取信息并且可能會(huì)運(yùn)行一些A / B測(cè)試用來使結(jié)果令人失望,那么當(dāng)測(cè)試數(shù)據(jù)與人們的假設(shè)相反時(shí),就會(huì)花費(fèi)大量時(shí)間來驗(yàn)證數(shù)字是否正確。
有用的儀表板應(yīng)該高度自動(dòng)化,人們習(xí)慣使用數(shù)據(jù)來做出決策。
另一件有趣的事情我注意到,不管結(jié)果如何,在這個(gè)階段,公司可以順利地運(yùn)行實(shí)驗(yàn)。他們學(xué)會(huì)設(shè)計(jì)他們知道自己會(huì)成功的測(cè)試(低風(fēng)險(xiǎn)),或者他們會(huì)“測(cè)試”他們100%知道他們將會(huì)發(fā)布的事情。
現(xiàn)在,作為科學(xué)家你可以通過這種行為呼喚人們。無論測(cè)試結(jié)果如何,它們都可以完全啟動(dòng)。雖然激進(jìn)的變化往往測(cè)試不佳,但應(yīng)該明確說明意圖。
***,數(shù)據(jù)科學(xué)
在經(jīng)過漫長(zhǎng)的旅程之后公司本身已經(jīng)轉(zhuǎn)變?yōu)閿?shù)據(jù)驅(qū)動(dòng)。他們有假設(shè)能夠可靠地收集數(shù)據(jù),并根據(jù)結(jié)果做出深思熟慮的決策。他們也更自給自足,可以閱讀(并且可能創(chuàng)建)帶有一些指導(dǎo)的儀表板,并且學(xué)會(huì)了何時(shí)擔(dān)心以及如何提出問題。
在金字塔下面總會(huì)有更多事情需要做,但至少現(xiàn)在事情并沒有隨時(shí)發(fā)生。
現(xiàn)在你可以考慮打破花哨的算法......
或者也許有一個(gè)需要構(gòu)建的數(shù)據(jù)倉庫,因?yàn)槟悻F(xiàn)在有太多系統(tǒng)導(dǎo)致分析查詢無法進(jìn)一步加速。
相關(guān)報(bào)道:
https://towardsdatascience.com/succeeding-as-a-data-scientist-in-small-companies-startups-92f59e22bd8c
【本文是51CTO專欄機(jī)構(gòu)大數(shù)據(jù)文摘的原創(chuàng)譯文,微信公眾號(hào)“大數(shù)據(jù)文摘( id: BigDataDigest)”】