大數(shù)據(jù)云計(jì)算 使預(yù)測更準(zhǔn)確嗎
人類生活需要預(yù)測,但可靠性卻實(shí)在不敢讓人恭維,鮮有正確。這有人為因素,也有技術(shù)原因。
比如“非樣本錯誤”。假設(shè)有一位司機(jī),駕齡30年,出行2萬次,只發(fā)生過2次輕微的剮蹭事故。中秋節(jié)跟家人一起喝了很多酒,那么這位司機(jī)能否因?yàn)榇饲榜{駛記錄良好,就認(rèn)為這次也不會出事故?顯然這是錯誤的想法。因?yàn)?萬次的出行記錄都是無酒駕記錄,這次喝多了,此前的記錄已無任何統(tǒng)計(jì)學(xué)意義。或許覺得這樣的低級錯誤預(yù)測專家能夠避免才對,但其實(shí)不然。由美國引起的2008年全球金融危機(jī),人類也就只有一兩位預(yù)測到,而其他所有的美國評級機(jī)構(gòu)、白宮智囊團(tuán)、經(jīng)濟(jì)學(xué)家無一能預(yù)測出。究其原因,就是犯了這種“非樣本”的預(yù)測錯誤。當(dāng)情況有變,一味根據(jù)過去的記錄做出預(yù)測,就只能得到錯誤的答案。
很多人喜歡投資股市。身處牛市,投資者再外行恐怕也能多少賺點(diǎn)錢,但從牛市進(jìn)入熊市,證券公司一般都是集體犯錯。這更多的是人為因素。證券分析師出現(xiàn)錯誤判斷很正常,但犯錯一定要避免只有自己犯錯,一起犯錯就等于自己沒犯錯。比如有人分析出股市有一定概率要崩盤,最佳策略卻是繼續(xù)持有。這樣股市崩盤了,由于絕大多數(shù)同行都不確定何時要崩盤,也都選擇持有戰(zhàn)略,集體犯錯,并不會顯出自己水平低。但如果貿(mào)然賣掉股票,短期股價卻沒有跌甚至漲了,就只能表明自己水平不夠。
震驚全球的"9·11"恐怖襲擊事件讓人感覺很突然,其實(shí)美國情報機(jī)構(gòu)差點(diǎn)識破這一重大陰謀。2001年8月16日,穆薩維,一名宗教極端主義者被逮捕了。他只進(jìn)行了飛行培訓(xùn)50個小時,卻要求參加波音747客機(jī)的模擬訓(xùn)練。這很詭異,因此被人舉報。事后看這個事情,信號很清晰,有恐怖分子要用飛機(jī)炸大樓。在當(dāng)時,這個信號卻被掩蓋在幾十萬條諸如此類的眾多噪聲中,并不突出,或許他只是個飛行愛好者呢。有信號,更有噪聲,使得預(yù)測非常困難。
以上種種因素導(dǎo)致人類預(yù)測不甚準(zhǔn)確;但還是有辦法使得預(yù)測更加接近真相,那就是借助貝葉斯定理。這條概率學(xué)定理已產(chǎn)生二百多年,是用條件概率推理問題,揭示人們對概率信息的認(rèn)知加工過程與規(guī)律、指導(dǎo)人們進(jìn)行有效的學(xué)習(xí)和判斷決策。比如一位女性的乳房X光片顯示陽性,那么她患乳腺癌的概率會是多少?已有的統(tǒng)計(jì)數(shù)據(jù)顯示,如果一位女性未患乳腺癌,X光片呈陽性的概率為10%;如果確實(shí)患有乳腺癌,X光片陽性概率為75%;因此X光片呈陽性,一般人會認(rèn)為事情很嚴(yán)重。但如果用貝葉斯定理來分析,她患乳腺癌的概率只有10%,因?yàn)?0多歲的女性,患乳腺癌概率很低,只有1.4%,也就是說先驗(yàn)概率很低。
大數(shù)據(jù)時代,雖然信息量爆增,但信號與噪聲并存,要做出正確的預(yù)測并不比以前容易,甚至更難。《信號與噪聲》一書告訴我們,如果以貝葉斯定理為基礎(chǔ),努力了解事情的因果關(guān)系,避免一些不該犯的人為或技術(shù)錯誤,預(yù)測準(zhǔn)確率都會提高很多。