【51CTO.com原創(chuàng)稿件】約友出行被拒，理由是“墨跡天氣（以下簡稱墨跡）”實(shí)時(shí)空氣質(zhì)量提示PM2.5指數(shù)爆表。和大多工具類APP商業(yè)變現(xiàn)方式一樣，墨跡也是各種簡單粗暴的廣告。根據(jù)2016年底墨跡提交的創(chuàng)業(yè)板招股書中顯示，廣告營收占比95%以上，年利潤2000多萬，可謂押寶廣告賺滿缽。

押寶廣告的變現(xiàn)方式真的能走遠(yuǎn)嗎？從墨跡的使用場景看，它的用戶粘性和產(chǎn)品矩陣還有待提升，這也直接影響到未來的廣告轉(zhuǎn)化率。近日了解到，墨跡從2015年底到2016年初，便開始布局B端的業(yè)務(wù)，致力于公司發(fā)展積累的技術(shù)人才、海量氣象數(shù)據(jù)和對氣象領(lǐng)域的研究及國家對氣象數(shù)據(jù)的開放程度，為對氣象有特殊需求的行業(yè)提供企業(yè)級氣象服務(wù)，這又將是一種新的吸金方式。

無論是C端的流量變現(xiàn)還是B端的定制化氣象服務(wù)解決方案，想要商業(yè)化成功，氣象數(shù)據(jù)是基石。墨跡高級技術(shù)總監(jiān)王磊介紹，從塞班那個(gè)年代，墨跡APP創(chuàng)始就開始積累數(shù)據(jù)直至今日，原始數(shù)據(jù)全部保留。近四五年，細(xì)分領(lǐng)域的大數(shù)據(jù)變得越來越重要，墨跡也開始發(fā)力，建設(shè)大數(shù)據(jù)平臺和投入人力，試圖從海量氣象數(shù)據(jù)中，找到用戶及天氣預(yù)報(bào)中的模型和規(guī)律?；谶@些做個(gè)性化推薦，精細(xì)化服務(wù)，當(dāng)然也包括商業(yè)化運(yùn)營。

海量氣象數(shù)據(jù)的來源與分析

數(shù)據(jù)來源

做氣象預(yù)測，觀測數(shù)據(jù)是充分必要條件，直接影響預(yù)報(bào)的準(zhǔn)確性。觀測數(shù)據(jù)理想的狀態(tài)是觀測點(diǎn)足夠多，氣象預(yù)測就會更精準(zhǔn)，如在北京布設(shè)100個(gè)點(diǎn)，可北京面積廣闊，點(diǎn)與點(diǎn)之間的溫度、氣壓又是多少？

墨跡的數(shù)據(jù)主要來源于三方面：第三方氣象組織、各種設(shè)備傳感器和時(shí)景社區(qū)。

***方面是和其他氣象公司合作，如中國國家氣象局，美國NOAA（美國國家海洋和大氣管理局）的GFS，歐洲EC（歐洲中期天氣預(yù)報(bào)中心），日本氣象衛(wèi)星數(shù)據(jù)以及中國國家氣象局的數(shù)據(jù)等。這些組織有全球觀測數(shù)據(jù)，這些觀測數(shù)據(jù)通過衛(wèi)星做遙感，所以質(zhì)量相對較高，每天約有500G左右的量。

第二方面就是各種傳感器，如墨跡C端用戶的手機(jī)基本都帶有氣壓計(jì)、溫度傳感器。還有和外部的通用汽車合作，汽車上也有余量計(jì)，傳感器且量非常大。還有魅族、華為手機(jī)也預(yù)裝了墨跡App，可從中獲得相關(guān)數(shù)據(jù)。這部分?jǐn)?shù)據(jù)量每天約8000萬左右，但由于形式不一，每個(gè)設(shè)備上的數(shù)據(jù)都有偏差波動(dòng)，導(dǎo)致質(zhì)量參差不齊，要進(jìn)行統(tǒng)一化的處理才能投入使用。

第三方面時(shí)景社區(qū)，就是實(shí)時(shí)天氣社區(qū)，每天約有十萬天氣照片上傳到時(shí)景社區(qū)，總氣象圖片資源達(dá)億級，是目前國內(nèi)***的實(shí)時(shí)天氣圖片社區(qū)。

數(shù)據(jù)分析

墨跡的數(shù)據(jù)分析分為兩部分，一部分是0~2兩個(gè)小時(shí)的短時(shí)預(yù)報(bào)和2~8小時(shí)的短臨預(yù)報(bào)。另一部分是8小時(shí)到15天的中長期預(yù)報(bào)。機(jī)器學(xué)習(xí)主要用在短時(shí)預(yù)報(bào)，主要采用業(yè)界比較先進(jìn)的神經(jīng)學(xué)習(xí)網(wǎng)絡(luò)，如用FCN網(wǎng)絡(luò)（全卷積網(wǎng)絡(luò)）和Conv-LSTM網(wǎng)絡(luò)（長短時(shí)記憶網(wǎng)絡(luò)）等這些具體的分支，實(shí)現(xiàn)把不同來源的數(shù)據(jù)做噪音的排除，之后融合，去學(xué)習(xí)這些氣象數(shù)據(jù)在歷史上的變化趨勢。

短時(shí)預(yù)報(bào)除C端用戶可以在出門前查看實(shí)時(shí)天氣之外，B端用戶也可以結(jié)合氣象，節(jié)省成本，提升效率。墨跡商業(yè)化VP張明明介紹，像運(yùn)輸、末端物流、農(nóng)業(yè)等行業(yè)對短時(shí)預(yù)報(bào)的需求相對較高，例如中石油物流配送案例，雙方把歷史天氣數(shù)據(jù)和中石油的銷售數(shù)據(jù)整合，進(jìn)行模型訓(xùn)練，幫助中石油解決周期長且跨省的資源調(diào)配問題。

短時(shí)預(yù)報(bào)采用的技術(shù)是機(jī)器學(xué)習(xí)，中長期預(yù)報(bào)是另一套體系，以下內(nèi)容將圍繞短時(shí)預(yù)報(bào)具體的發(fā)展歷程、技術(shù)細(xì)節(jié)等內(nèi)容展開。

機(jī)器學(xué)習(xí)在墨跡天氣的應(yīng)用實(shí)踐

短時(shí)預(yù)報(bào)的發(fā)展歷程與系統(tǒng)架構(gòu)

墨跡短時(shí)預(yù)報(bào)系統(tǒng)是從2015年糾察小隊(duì)長內(nèi)測開始發(fā)展，一步步趨近成熟。如下圖，是墨跡短時(shí)預(yù)報(bào)的發(fā)展歷程：

在整個(gè)的發(fā)展歷程中，墨跡有三次里程碑事件： 

??

• 2016年8月，首度利用深度學(xué)習(xí)CNN網(wǎng)絡(luò)處理雷達(dá)回波中的噪音，對于單獨(dú)的雷達(dá)噪音和部分混合的雷達(dá)噪音有效。
• 2017年3月，利用人工智能技術(shù)和傳統(tǒng)模式預(yù)報(bào)技術(shù)的結(jié)合，在沒有雷達(dá)覆蓋的區(qū)域增加GFS預(yù)報(bào)數(shù)據(jù)作為補(bǔ)充數(shù)據(jù)源，準(zhǔn)確率進(jìn)一步提高。
• 2017年5月，深度學(xué)習(xí)算法應(yīng)用在短時(shí)核心外推環(huán)節(jié)。

如下圖，是墨跡短時(shí)預(yù)報(bào)的頂層設(shè)計(jì)：

??

墨跡短時(shí)預(yù)報(bào)的頂層設(shè)計(jì)由輸入（數(shù)據(jù)源、反饋、WRF）、中間層（去噪、外推）和輸出（預(yù)測圖）三部分構(gòu)成。

短時(shí)預(yù)報(bào)系統(tǒng)所涉及的主要技術(shù)

短時(shí)預(yù)報(bào)系統(tǒng)使用的技術(shù)有很多，這里主要分享兩部分：算法模型和算法實(shí)現(xiàn)。

算法模型有深度學(xué)習(xí)圖像去噪算法（CNN網(wǎng)絡(luò)）、深度學(xué)習(xí)圖像外推算法（RNN循環(huán)網(wǎng)絡(luò)）、機(jī)器學(xué)習(xí)雨雪分辨模型（SVM支持向量機(jī)分類）、模式預(yù)報(bào)數(shù)據(jù)融合等。

算法實(shí)現(xiàn)有Google Tensorflow 深度學(xué)習(xí)框架、Caffe 深度學(xué)習(xí)框架、Opencv 圖像處理庫、Sklearn 機(jī)器學(xué)習(xí)庫等。

去噪技術(shù)

去噪問題在深度學(xué)習(xí)里可以歸結(jié)為一類叫做“圖像語義分割”的任務(wù)，相對于普通的圖像分類的任務(wù)，這類任務(wù)要求對圖像的每個(gè)點(diǎn)標(biāo)記它的類別，而對應(yīng)雷達(dá)圖去噪，就是需要逐點(diǎn)的標(biāo)記這個(gè)像素點(diǎn)是正?；夭ㄟ€是噪音。墨跡通過人工搜集的方式，積累大量的噪聲數(shù)據(jù)集，并進(jìn)行人工標(biāo)記，投入訓(xùn)練。目前，去噪環(huán)節(jié)已經(jīng)迭代了三個(gè)版本。

外推技術(shù)

外推技術(shù)采用的是RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）算法。

如下是RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）簡易圖：

??

預(yù)報(bào)問題屬于時(shí)序問題的一種，循環(huán)神經(jīng)網(wǎng)絡(luò)非常適合處理時(shí)序相關(guān)問題。

如下是LSTM(長短期記憶網(wǎng)絡(luò))網(wǎng)絡(luò)簡易圖：

??

短時(shí)預(yù)報(bào)外推需要進(jìn)行多次循環(huán)計(jì)算過程，傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)在如此多的循環(huán)過程中會明顯丟失網(wǎng)絡(luò)初始輸入數(shù)據(jù)特征，從而導(dǎo)致外推出來的圖片準(zhǔn)確率很低，長短期網(wǎng)絡(luò)可以明顯改善此問題。

墨跡使用最近歷史圖片按時(shí)間先后順序輸入循環(huán)網(wǎng)絡(luò)，然后網(wǎng)絡(luò)會根據(jù)圖片的變化趨勢結(jié)合歷史變化規(guī)律生成未來預(yù)測圖。

雨雪分辨技術(shù)

如下圖，是基于GFS預(yù)測數(shù)據(jù)的雨雪預(yù)測：

如下圖，是基于模式預(yù)報(bào)數(shù)據(jù)的雨雪分類：

??

由于短時(shí)預(yù)報(bào)結(jié)果只能預(yù)報(bào)出降水情況，無法區(qū)分降水的類型，所以需要額外模型來對降水類型進(jìn)行判斷，雨雪分辨模型做的就是通過機(jī)器學(xué)習(xí)方法判斷降水類型是降雨還是降雪，以提供最終的實(shí)況天氣類型。

數(shù)值預(yù)報(bào)技術(shù)

如下是全國雷達(dá)站覆蓋圖:

如下是模式預(yù)報(bào)數(shù)據(jù)：

目前，墨跡也在做一些傳統(tǒng)的數(shù)值天氣預(yù)報(bào)方面的研究和應(yīng)用。

人們從上個(gè)世紀(jì)開始用數(shù)值天氣預(yù)報(bào)的方法解決天氣預(yù)報(bào)的問題，通過求解一系列描述大氣運(yùn)動(dòng)的動(dòng)力學(xué)、熱力學(xué)偏微分方程組的數(shù)值解，來計(jì)算大氣未來的狀態(tài)，從而預(yù)測出未來的天氣。

但是這種預(yù)報(bào)方式的發(fā)展依賴于計(jì)算機(jī)技術(shù)的發(fā)展，因?yàn)樗挠?jì)算量相當(dāng)?shù)捏@人，每個(gè)時(shí)間步長有著五億個(gè)空間格點(diǎn)、綜合考慮空間尺度延伸幾百米到幾千公里、時(shí)間尺度遍及幾秒到幾周不等。

目前墨跡的氣象研究團(tuán)隊(duì)也在從事相關(guān)的研究和應(yīng)用，最細(xì)的3-5km的模式分辨率，每個(gè)時(shí)間步長需要計(jì)算上百萬（140萬）個(gè)空間格點(diǎn)，計(jì)算量也是相當(dāng)?shù)捏@人，需要?jiǎng)佑贸慊蚣旱馁Y源才能應(yīng)用。

關(guān)于未來

當(dāng)前，氣象領(lǐng)域的市場競爭愈演愈烈，不知道墨跡這條基于海量氣象數(shù)據(jù)分析的領(lǐng)先技術(shù)，為企業(yè)級用戶提供企業(yè)級氣象服務(wù)的吸金路能走多遠(yuǎn)，但至少墨跡從功能類App運(yùn)營商向互聯(lián)網(wǎng)綜合氣象服務(wù)提供商的轉(zhuǎn)型，使得墨跡的路越走越寬。

本月熱文推薦TOP3

??混合云的那些事，如何做到讓公有云和私有云實(shí)現(xiàn)1+1>2??

??AR/VR專家告訴你：人機(jī)交互的未來場景長啥樣???

??如何做到兼顧安全與性能？電商網(wǎng)站HTTPS優(yōu)化探索與實(shí)踐??

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請注明原文作者和出處為51CTO.com】