大數(shù)據(jù)及其應(yīng)用迅速發(fā)展，已經(jīng)滲透到各個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素，2015年8月國務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，將大數(shù)據(jù)提升為國家戰(zhàn)略。

項(xiàng)目背景

大數(shù)據(jù)及其應(yīng)用迅速發(fā)展，已經(jīng)滲透到各個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素，2015年8月國務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，將大數(shù)據(jù)提升為國家戰(zhàn)略。在未來的5-10年，我國將把大數(shù)據(jù)作為提升政府治理能力的重要手段，大力推進(jìn)大數(shù)據(jù)在政府管理中創(chuàng)新應(yīng)用。為此，《交通運(yùn)輸信息化”十三五”發(fā)展規(guī)劃》中提出要”運(yùn)用大數(shù)據(jù)分析技術(shù)，開展交通運(yùn)輸經(jīng)濟(jì)運(yùn)行分析、政策實(shí)施效果評(píng)價(jià)、交通發(fā)展趨勢研判等分析工作，提高交通運(yùn)輸宏觀掌控能力”?！督煌ㄟ\(yùn)輸統(tǒng)計(jì)發(fā)展綱要》也提出要”充分利用大數(shù)據(jù)、云計(jì)算等現(xiàn)代信息技術(shù)，變革統(tǒng)計(jì)生產(chǎn)方式，再造統(tǒng)計(jì)業(yè)務(wù)流程，豐富統(tǒng)計(jì)服務(wù)產(chǎn)品，不斷提升統(tǒng)計(jì)生產(chǎn)能力、管理能力和服務(wù)能力，開創(chuàng)交通運(yùn)輸統(tǒng)計(jì)發(fā)展新局面”。

“十二五”以來，信息化逐漸融入行業(yè)管理的方方面面，作為大數(shù)據(jù)應(yīng)用的基礎(chǔ)，交通運(yùn)輸行業(yè)數(shù)據(jù)資源日益豐富。隨著以高速公路聯(lián)網(wǎng)收費(fèi)、運(yùn)輸車輛聯(lián)網(wǎng)聯(lián)控、智能公交、物流信息平臺(tái)等為代表的行業(yè)信息化重大工程的穩(wěn)步實(shí)施，交通運(yùn)輸行業(yè)管理部門所掌握的交通大數(shù)據(jù)規(guī)模爆發(fā)性增長，這為推進(jìn)交通運(yùn)輸行業(yè)大數(shù)據(jù)的應(yīng)用，以大數(shù)據(jù)支撐行業(yè)管理決策，提高交通行業(yè)管理自動(dòng)化、智能化水平提供了基礎(chǔ)性條件。

2012年以來，受交通運(yùn)輸部委托，交通運(yùn)輸部科學(xué)研究院以行業(yè)中信息化基礎(chǔ)最好的高速公路聯(lián)網(wǎng)收費(fèi)業(yè)務(wù)為示范，通過建立全國統(tǒng)一的數(shù)據(jù)采集規(guī)范和數(shù)據(jù)治理標(biāo)準(zhǔn)，開發(fā)基于大數(shù)據(jù)技術(shù)的全國高速公路通行數(shù)據(jù)動(dòng)態(tài)監(jiān)測平臺(tái)，實(shí)現(xiàn)了全國29個(gè)省高速公路通行數(shù)據(jù)(源于高速公路聯(lián)網(wǎng)收費(fèi)系統(tǒng))的動(dòng)態(tài)采集，并利用該數(shù)據(jù)開展行業(yè)大數(shù)據(jù)應(yīng)用，顯著提升了交通運(yùn)輸行業(yè)應(yīng)用大數(shù)據(jù)的能力，為行業(yè)管理決策提供了有力的支撐，成為行業(yè)大數(shù)據(jù)應(yīng)用創(chuàng)新的典范。

項(xiàng)目概況

主要建設(shè)內(nèi)容

“基于大數(shù)據(jù)技術(shù)的全國高速公路通行數(shù)據(jù)動(dòng)態(tài)監(jiān)測平臺(tái)建設(shè)”屬于交通運(yùn)輸行業(yè)”十二五”信息化重大工程的重要內(nèi)容，其主要任務(wù)是要從全國29個(gè)實(shí)現(xiàn)了省級(jí)高速公路聯(lián)網(wǎng)收費(fèi)省份，動(dòng)態(tài)采集其高速公路聯(lián)網(wǎng)收費(fèi)數(shù)據(jù)，并以大數(shù)據(jù)平臺(tái)為支撐，在交通運(yùn)輸部實(shí)現(xiàn)對(duì)全國數(shù)據(jù)的集中存儲(chǔ)與管理，結(jié)合行業(yè)管理的需要建立業(yè)務(wù)模型，對(duì)全國高速公路聯(lián)網(wǎng)收費(fèi)數(shù)據(jù)進(jìn)行分析與挖掘，提升行業(yè)管理部門的動(dòng)態(tài)監(jiān)測能力和科學(xué)決策水平。

主要問題和挑戰(zhàn)

各省高速公路聯(lián)網(wǎng)收費(fèi)系統(tǒng)獨(dú)立建設(shè)，系統(tǒng)架構(gòu)和數(shù)據(jù)指標(biāo)差異大

交通行業(yè)信息化由交通運(yùn)輸部進(jìn)行行業(yè)指導(dǎo)，各省結(jié)合業(yè)務(wù)管理需要自行進(jìn)行建設(shè)。在高速公路管理信息化領(lǐng)域，各省建設(shè)進(jìn)程差異巨大，東部發(fā)達(dá)省份高速公路建設(shè)起步早，信息化程度相對(duì)較高，許多省份在“十一五”期間已經(jīng)實(shí)現(xiàn)了省級(jí)高速公路聯(lián)網(wǎng)收費(fèi)，而西部許多省份例如新疆、青海等省則在近幾年才開始建設(shè)省級(jí)高速公路聯(lián)網(wǎng)收費(fèi)系統(tǒng)。由于管理體制的差異，各省在建設(shè)過程中所采用的技術(shù)架構(gòu)不一、數(shù)據(jù)管理模式千差萬別。大部分省高速公路聯(lián)網(wǎng)收費(fèi)系統(tǒng)采用ORACLE進(jìn)行數(shù)據(jù)存儲(chǔ)與管理，而一些發(fā)達(dá)省份，由于數(shù)據(jù)量龐大，已經(jīng)逐步采用大數(shù)據(jù)管理系統(tǒng)作為數(shù)據(jù)管理工具。這些差異對(duì)從各省的系統(tǒng)中按照統(tǒng)一的技術(shù)標(biāo)準(zhǔn)采集數(shù)據(jù)帶來巨大的困難。

各省高速公路聯(lián)網(wǎng)收費(fèi)數(shù)據(jù)指標(biāo)體系不一，數(shù)據(jù)質(zhì)量參差不齊

在數(shù)據(jù)指標(biāo)方面，由于不同省份的高速公路聯(lián)網(wǎng)收費(fèi)系統(tǒng)都是獨(dú)立建設(shè)，各省結(jié)合所采集的指標(biāo)也存在較大差異，所采集的數(shù)據(jù)指標(biāo)和內(nèi)容也不盡一致，例如，涉及高速公路收費(fèi)數(shù)據(jù)的核心數(shù)據(jù)表，有些省份采集了80多項(xiàng)指標(biāo)，至有一些省份則拆分成100多項(xiàng)指標(biāo)。在數(shù)據(jù)質(zhì)量方面，不同省份也存在較大差異，例如，數(shù)據(jù)質(zhì)量較好的省份，所采集的車牌號(hào)信息完整、規(guī)范，而一些省份所采集的車牌號(hào)，僅僅只錄入了車牌號(hào)的后3位數(shù)字。由于高速公路數(shù)據(jù)指標(biāo)體系不統(tǒng)一，數(shù)據(jù)質(zhì)量層次不齊，導(dǎo)致數(shù)據(jù)分析工作難以開展。

交通運(yùn)輸行業(yè)缺乏對(duì)大數(shù)據(jù)的處理和分析能力

在交通運(yùn)輸行業(yè)，”十三五”之前大量的應(yīng)用系統(tǒng)建設(shè)采用傳統(tǒng)的技術(shù)架構(gòu)傳輸、存儲(chǔ)，大數(shù)據(jù)技術(shù)應(yīng)用在行業(yè)管理中的應(yīng)用處于起步研究階段。而全國高速公路聯(lián)網(wǎng)收費(fèi)數(shù)據(jù)規(guī)模龐大，目前每個(gè)月數(shù)據(jù)量接近10億條，在全國平臺(tái)上實(shí)現(xiàn)29個(gè)省市的高速公路數(shù)據(jù)的采集，傳輸，匯聚，對(duì)平臺(tái)的數(shù)據(jù)承載能力以及穩(wěn)定性提出了挑戰(zhàn)。此外，日益提升的高速公路數(shù)據(jù)分析需求，對(duì)平臺(tái)數(shù)據(jù)建模以及計(jì)算效率也提出新的要求。

技術(shù)方案

針對(duì)上述的需求以及技術(shù)挑戰(zhàn)，自2012年開始，交通運(yùn)輸部科學(xué)研究院結(jié)合各省高速公路聯(lián)網(wǎng)收費(fèi)系統(tǒng)建設(shè)的進(jìn)度以及行業(yè)管理決策能力提升的需求對(duì)平臺(tái)進(jìn)行建設(shè)。主要從以下幾個(gè)方面著手： 1、構(gòu)建高速公路大數(shù)據(jù)指標(biāo)體系，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)。2、構(gòu)建跨省的數(shù)據(jù)采集系統(tǒng)，實(shí)現(xiàn)部省之間、不同技術(shù)架構(gòu)系統(tǒng)之間的數(shù)據(jù)的統(tǒng)一采集、質(zhì)量控制與數(shù)據(jù)匯聚。3、利用大數(shù)據(jù)技術(shù)，建立全國高速公路通行數(shù)據(jù)的管理平臺(tái)，實(shí)現(xiàn)對(duì)全國數(shù)據(jù)的集中存儲(chǔ)、管理以及大數(shù)據(jù)分析挖掘。

統(tǒng)一的數(shù)據(jù)指標(biāo)體系

根據(jù)交通運(yùn)輸部開展交通運(yùn)輸行業(yè)動(dòng)態(tài)監(jiān)測，進(jìn)行全國公路運(yùn)輸量測算、分析路網(wǎng)運(yùn)行特點(diǎn)的需要，經(jīng)過分析各省所采集的高速公路收費(fèi)明細(xì)數(shù)據(jù)，我院制定了統(tǒng)一的部級(jí)數(shù)據(jù)采集指標(biāo)體系，其主要內(nèi)容包括高速公路公路收費(fèi)明細(xì)數(shù)據(jù)、高速公路收費(fèi)站信息、車輛信息以及高速公路電子地圖等，核心內(nèi)容如下：

①明細(xì)數(shù)據(jù)。

包括入口網(wǎng)絡(luò)編號(hào)、入口站編號(hào)、入口時(shí)間、出口網(wǎng)絡(luò)編號(hào)、出口站編號(hào)、出口時(shí)間、出口車道編號(hào)、車牌號(hào)、車型代碼、車種代碼、里程、總軸數(shù)、軸型及軸重、車貨總重、限重、超限率、是否綠色通道車輛代碼、免費(fèi)類型代碼、路徑標(biāo)識(shí)、是否ETC車輛代碼、ETC車輛電子標(biāo)簽OBU編號(hào)、支付方式代碼等22項(xiàng)信息。

②數(shù)據(jù)字典。包括以下5項(xiàng)：

一是高速公路收費(fèi)站字典。包括網(wǎng)絡(luò)編號(hào)、收費(fèi)站編號(hào)、收費(fèi)站名稱、所在線路編號(hào)、所在線路名稱、是否省界站、開通時(shí)間、所屬地市名稱、是否開放式收費(fèi)站、收費(fèi)站狀態(tài)、收費(fèi)站經(jīng)度、收費(fèi)站緯度、備注等信息。二是高速公路收費(fèi)車型字典。包括收費(fèi)車型代碼、車種代碼、收費(fèi)車型定義等信息。三是高速公路貨車軸型字典。包括單軸組軸型代碼、軸型定義等。四是高速公路免費(fèi)類型代碼字典。包括免費(fèi)類型代碼、免費(fèi)類型定義等。五是高速公路標(biāo)識(shí)站字典。包括標(biāo)識(shí)站編號(hào)、標(biāo)識(shí)站名稱、所處路段名稱。

此外，高速公路電子地圖則以GIS地圖的形式采集。

基本業(yè)務(wù)流程

總體業(yè)務(wù)主要包括數(shù)據(jù)報(bào)送以及數(shù)據(jù)分析兩部分，數(shù)據(jù)報(bào)送業(yè)務(wù)主要實(shí)現(xiàn)各省原始數(shù)據(jù)的采集，審核，清洗，存儲(chǔ)。數(shù)據(jù)分析業(yè)務(wù)則實(shí)現(xiàn)了對(duì)于數(shù)據(jù)的分析，查詢以及可視化的展示。

總體業(yè)務(wù)流程如圖所示

??

系統(tǒng)總體架構(gòu)

整體架構(gòu)分為6層，數(shù)據(jù)源層，數(shù)據(jù)采集層，數(shù)據(jù)存儲(chǔ)層，數(shù)據(jù)處理層，數(shù)據(jù)分析層，數(shù)據(jù)應(yīng)用層。

數(shù)據(jù)源層是指各省高速公路聯(lián)網(wǎng)收費(fèi)系統(tǒng)，在數(shù)據(jù)采集層，利用ETL工具和數(shù)據(jù)傳輸中間件從各省的前置機(jī)采集數(shù)據(jù)。系統(tǒng)實(shí)施時(shí)在每個(gè)省都部署了數(shù)據(jù)采集的前置機(jī)，在前置機(jī)上，通過ETL來對(duì)數(shù)據(jù)進(jìn)行采集、清洗和標(biāo)準(zhǔn)化，數(shù)據(jù)傳回部里后，利用關(guān)系數(shù)據(jù)庫開展常規(guī)的統(tǒng)計(jì)工作，利用分布式的大數(shù)據(jù)平臺(tái)，來進(jìn)行數(shù)據(jù)的分析挖掘以及與其他數(shù)據(jù)之間的關(guān)聯(lián)分析。在數(shù)據(jù)存儲(chǔ)層，采用基于大數(shù)據(jù)的混合式數(shù)據(jù)存儲(chǔ)架構(gòu)，利用基于hadoop的分布式文件系統(tǒng)來管理高速公路明細(xì)數(shù)據(jù)，利用關(guān)系型數(shù)據(jù)庫存儲(chǔ)來存儲(chǔ)ods層、dw層和dm層的數(shù)據(jù)，形成完善的數(shù)據(jù)倉庫架構(gòu)，在數(shù)據(jù)處理層，支持批處理、流式處理和混合處理三種方式的數(shù)據(jù)處理，在數(shù)據(jù)分析層：利用impala、spark等技術(shù)支持即席查詢、信息檢索，深度挖掘，在數(shù)據(jù)應(yīng)用層，以地圖、報(bào)表的形式展現(xiàn)分析成果。

系統(tǒng)總體框架如圖所示：

??

下圖所示為系統(tǒng)數(shù)據(jù)采集的流程示意圖：

??

系統(tǒng)主要功能

平臺(tái)主要功能包括數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)統(tǒng)計(jì)與查詢、專題分析、系統(tǒng)管理、動(dòng)態(tài)配置4個(gè)部分，系統(tǒng)的總體功能框架如下圖所示：

數(shù)據(jù)質(zhì)量監(jiān)控

通過內(nèi)置數(shù)據(jù)審核規(guī)則，對(duì)各省上報(bào)的高速公路通行數(shù)據(jù)進(jìn)行質(zhì)量審核，保證數(shù)據(jù)的有效性和完整性，對(duì)異常數(shù)據(jù)進(jìn)行系統(tǒng)報(bào)警，提示數(shù)據(jù)管理人員進(jìn)行相應(yīng)處理。數(shù)據(jù)質(zhì)量審核包括數(shù)據(jù)傳輸監(jiān)控、數(shù)據(jù)異常情況預(yù)警、數(shù)據(jù)文件入庫情況監(jiān)控、數(shù)據(jù)動(dòng)態(tài)監(jiān)測等。

數(shù)據(jù)傳輸監(jiān)控

數(shù)據(jù)傳輸過程監(jiān)控功能監(jiān)視ETL工具從各省前置機(jī)采集數(shù)據(jù)以及數(shù)據(jù)從各省向部傳輸?shù)倪^程中是否存在數(shù)據(jù)丟失的情況。

??

數(shù)據(jù)異常情況預(yù)警

數(shù)據(jù)異常情況預(yù)警對(duì)數(shù)據(jù)指標(biāo)按照設(shè)定的審核規(guī)則進(jìn)行審核，如有異常則預(yù)警提示。審核規(guī)則包括入口網(wǎng)絡(luò)編號(hào)+入口站編號(hào)不在枚舉字典中、貨車總軸數(shù)為空、貨車車貨總重為空等多項(xiàng)規(guī)則。

??

數(shù)據(jù)入庫情況監(jiān)控

根據(jù)數(shù)據(jù)記錄數(shù)、最小記錄時(shí)間、最大記錄時(shí)間等條件實(shí)時(shí)監(jiān)控當(dāng)前數(shù)據(jù)入庫進(jìn)度，確保數(shù)據(jù)完整，不存在丟失的情況。

數(shù)據(jù)動(dòng)態(tài)監(jiān)測

數(shù)據(jù)量監(jiān)測功能對(duì)每月各省數(shù)據(jù)量指標(biāo)進(jìn)行監(jiān)控，從數(shù)據(jù)指標(biāo)的角度，通過與上年、上月數(shù)據(jù)的變化情況監(jiān)測各省報(bào)送的數(shù)據(jù)質(zhì)量是否存在問題，主要包括數(shù)據(jù)量監(jiān)測、車流量預(yù)警、行駛量預(yù)警等。

??

數(shù)據(jù)統(tǒng)計(jì)與查詢

根據(jù)交通運(yùn)輸部開展運(yùn)輸量統(tǒng)計(jì)以及行業(yè)經(jīng)濟(jì)運(yùn)行分析的需要，在系統(tǒng)中自動(dòng)生成客車(分車型)的車流量、行駛量，省內(nèi)的流量流量等;貨車(分軸數(shù))的車流量、行駛量、貨物發(fā)送量、貨物周轉(zhuǎn)量、省內(nèi)的流量流量等;貨車的車貨總重、超限率情況;免費(fèi)車情況、ETC車流量占比情況等40余張監(jiān)測報(bào)表，用于經(jīng)濟(jì)運(yùn)行分析、向國務(wù)院報(bào)送的交通運(yùn)輸簡明月報(bào)等相關(guān)分析材料中。

數(shù)據(jù)分析與挖掘

OD分析

該功能對(duì)省內(nèi)城市與城市之間客流、貨流的趨勢和遷移規(guī)律，在地圖中用可視化的方式反映某一個(gè)城市到其他城市的車輛遷徙特點(diǎn)，或者一個(gè)省全部城市之間的車輛遷移特點(diǎn)。

??

車籍地分析

根據(jù)高速公路通行數(shù)據(jù)中的車牌號(hào)信息，在地圖中按照”外地車來本省”和”本省車去外地”兩個(gè)維度，反映省與省之間高速公路車輛行駛的特點(diǎn)和聯(lián)系情況。

??

熱點(diǎn)收費(fèi)站分析

該功能主要對(duì)全國各省收費(fèi)站通行量進(jìn)行統(tǒng)計(jì)分析，通過預(yù)設(shè)不同的篩選條件，如省份，開始時(shí)間、結(jié)束時(shí)間、車輛類型等條件，對(duì)通行量排名前10的收費(fèi)站進(jìn)行圖、表多維展示，對(duì)某一個(gè)收費(fèi)站，還支持直接查看其24小時(shí)的車流量情況。

??

??

收費(fèi)站流量分析

該功能主要對(duì)全國各省高速公路收費(fèi)站流量數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，通過預(yù)設(shè)不同的篩選條件，如省份，開始時(shí)間、結(jié)束時(shí)間、車輛類型等條件，對(duì)通行量進(jìn)行圖、表多維展示。

??

??

通行量時(shí)空分析

該功能主要用于分析高速公路上行駛車輛的時(shí)間和空間分布的特征，反映車輛在高速公路上行駛的時(shí)間和距離特點(diǎn)。

??

高速公路車流量分析

該功能主要從高速公路車流量角度出發(fā)，對(duì)不同省份(區(qū)域或全國)、不同時(shí)間段、不同車型的通行量情況進(jìn)行統(tǒng)計(jì)，利用地圖和曲線進(jìn)行多維展示。

??

高速公路行駛量分析

該功能主要從車輛的行駛量角度出發(fā)，對(duì)不同省份(區(qū)域或全國)、不同時(shí)間段、不同車型的行駛量情況進(jìn)行統(tǒng)計(jì)，利用地圖和曲線進(jìn)行多維展示。

??

高速公路周轉(zhuǎn)量分析

該功能主要從車輛的周轉(zhuǎn)量(收費(fèi)里程*車貨總重)角度出發(fā)，對(duì)不同省份(區(qū)域或全國)、不同時(shí)間段、不同車型的周轉(zhuǎn)量情況進(jìn)行統(tǒng)計(jì)，利用地圖和曲線進(jìn)行多維展示。

??

應(yīng)用效果

本案例的應(yīng)用已經(jīng)采集了全國29個(gè)省的數(shù)據(jù)，已實(shí)現(xiàn)聯(lián)網(wǎng)收費(fèi)的高速公路基本都已經(jīng)納入數(shù)據(jù)監(jiān)測范圍，共涉及高速13萬公里，收費(fèi)站接近9000個(gè)，截至到2017年8月，總數(shù)據(jù)量已經(jīng)接近10TB，記錄數(shù)超過350億條，并且，每個(gè)月還在以9億條的數(shù)據(jù)量在高速增長。利用所采集的全國高速公路通行數(shù)據(jù)，我院深入開展大數(shù)據(jù)分析與建模，在交通運(yùn)輸統(tǒng)計(jì)、路網(wǎng)運(yùn)行監(jiān)測等方面取得了顯著的效果。

有效提升了交通運(yùn)輸統(tǒng)計(jì)的能力和水平

一、自2016年開始，利用該平臺(tái)按月監(jiān)測不同口徑下的高速公路客貨車流量、7座以下小客車流量、貨運(yùn)量、周轉(zhuǎn)量等主要指標(biāo)的變化情況，并已在在交通運(yùn)輸經(jīng)濟(jì)運(yùn)行分析、公路水路交通運(yùn)輸統(tǒng)計(jì)數(shù)據(jù)質(zhì)量核查評(píng)估、高速公路運(yùn)輸量旬報(bào)等工作中得到了直接應(yīng)用，相關(guān)成果形成后直接向國務(wù)院、交通運(yùn)輸部相關(guān)領(lǐng)導(dǎo)報(bào)送，為行業(yè)管理決策提供了有力支撐。

二、2017年，基于該平臺(tái)開發(fā)了《高速公路運(yùn)輸統(tǒng)計(jì)監(jiān)測月報(bào)》、《高速公路運(yùn)輸統(tǒng)計(jì)監(jiān)測報(bào)告》等新的行業(yè)統(tǒng)計(jì)產(chǎn)品，是交通運(yùn)輸部首次以大數(shù)據(jù)技術(shù)為支撐，利用行政業(yè)務(wù)記錄直接轉(zhuǎn)換生成統(tǒng)計(jì)數(shù)據(jù)，填補(bǔ)了我國高速公路運(yùn)輸量和區(qū)域運(yùn)輸量統(tǒng)計(jì)的空白。

為行業(yè)管理決策以及高速公路路網(wǎng)運(yùn)行監(jiān)測提供了有力支撐

利用該平臺(tái)為支撐，通過大數(shù)據(jù)建模與分析，我院實(shí)現(xiàn)了全國高速公路交通流量分配、高速公路跨省車輛追蹤、高速公路貨運(yùn)通道分析、壓力路段分析等行業(yè)重點(diǎn)關(guān)注的業(yè)務(wù)分析，為行業(yè)管理部門動(dòng)態(tài)掌握高速公路運(yùn)行趨勢和特點(diǎn)、制定物流發(fā)展政策、監(jiān)控路網(wǎng)運(yùn)行態(tài)勢提供了有力的支撐。如下圖所示，針對(duì)11條物流通道進(jìn)行流量分配，結(jié)果顯示國家推進(jìn)的11條物流通道所涵蓋的24條高速公路，車流量及貨運(yùn)承載量是高速路網(wǎng)平均水平1.5-1.6倍?？v向通道運(yùn)輸需求更強(qiáng)，平均貨運(yùn)承載量是橫向的1.2倍，日均貨運(yùn)承載量前5位中有4條縱向通道。

??

編制了系列分析報(bào)告，大大提升了開展交通行業(yè)大數(shù)據(jù)分析的水平

從2016年4月開始，對(duì)全國高速公路通行數(shù)據(jù)進(jìn)行挖掘分析，與高德合作開展數(shù)據(jù)分析，按季度發(fā)布中國主要城市交通分析報(bào)告，至今已合作發(fā)布5期分析報(bào)告，每期報(bào)告均得到央視、人民網(wǎng)、頭條新聞、環(huán)球咨詢廣播、中國新聞網(wǎng)等主流媒體報(bào)道，央視財(cái)經(jīng)頻道對(duì)分析內(nèi)容進(jìn)行2次專題報(bào)道。2017年8月，以該平臺(tái)為支撐，我院還編制發(fā)布了《2016年度中國高速公路運(yùn)行大數(shù)據(jù)分析報(bào)告》，報(bào)告發(fā)布后，受到了行業(yè)內(nèi)外廣泛關(guān)注，央視新聞聯(lián)播對(duì)報(bào)告內(nèi)容進(jìn)行了專題報(bào)道。這些系列報(bào)告的編寫和發(fā)布對(duì)于交通運(yùn)輸部開展綜合交通大數(shù)據(jù)的分析與實(shí)踐分析、宣傳交通運(yùn)輸行業(yè)大數(shù)據(jù)分析成果發(fā)揮了重要作用。

??

??

經(jīng)驗(yàn)總結(jié)

本項(xiàng)目對(duì)高速公路收費(fèi)數(shù)據(jù)的采集與大數(shù)據(jù)分析是對(duì)交通運(yùn)輸行業(yè)管理和業(yè)務(wù)以及信息化建設(shè)技術(shù)等的方面的重大創(chuàng)新

在本平臺(tái)建成之前，交通運(yùn)輸部主要依托于各類靜態(tài)統(tǒng)計(jì)數(shù)據(jù)開展行業(yè)經(jīng)濟(jì)運(yùn)行分析、支撐行業(yè)管理決策。本平臺(tái)的建設(shè)，從業(yè)務(wù)方面來看，創(chuàng)新性的將傳統(tǒng)的匯總數(shù)據(jù)的采集轉(zhuǎn)化為業(yè)務(wù)明細(xì)數(shù)據(jù)的采集，通過明細(xì)數(shù)據(jù)對(duì)傳統(tǒng)統(tǒng)計(jì)數(shù)據(jù)的校核，并開展進(jìn)一步的數(shù)據(jù)分析挖掘;從技術(shù)方面來看，在采集端用前置機(jī)的結(jié)構(gòu)化數(shù)據(jù)庫對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，分擔(dān)了部級(jí)數(shù)據(jù)中心的壓力，在中心端，采用了基于hadoop的混合式分布式計(jì)算架構(gòu)和存儲(chǔ)架構(gòu)，利用大數(shù)據(jù)技術(shù)適應(yīng)對(duì)海量數(shù)據(jù)的存儲(chǔ)和快速處理與計(jì)算，在數(shù)據(jù)模型設(shè)計(jì)時(shí)，借鑒了數(shù)據(jù)倉庫的設(shè)計(jì)理念，合理的建立了數(shù)據(jù)模型，在數(shù)據(jù)分析挖掘過程中，采用BI前臺(tái)展現(xiàn)，以適應(yīng)業(yè)務(wù)多變的需要。

在滿足業(yè)務(wù)需求的前提下，充分利用自上而下管理體制的優(yōu)勢，制定技術(shù)標(biāo)準(zhǔn)，降低技術(shù)方案的實(shí)施難度

案例涉及29個(gè)省交通運(yùn)輸主管部門和聯(lián)網(wǎng)收費(fèi)管理部門，由于各省交通運(yùn)輸廳信息化水平參差不齊，因此，很難直接采用統(tǒng)一的技術(shù)方案實(shí)現(xiàn)對(duì)各省的數(shù)據(jù)采集，在技術(shù)方案設(shè)計(jì)時(shí)，利用交通運(yùn)輸管理部門自上而下的管理體制，通過行政管理手段制定并下發(fā)了省級(jí)數(shù)據(jù)采集的標(biāo)準(zhǔn)規(guī)范，盡量使數(shù)據(jù)采集方案標(biāo)準(zhǔn)統(tǒng)一，大大降低了平臺(tái)的建設(shè)難度。

技術(shù)方案注重加強(qiáng)對(duì)數(shù)據(jù)的質(zhì)量監(jiān)控，提高數(shù)據(jù)質(zhì)量

平臺(tái)建設(shè)過程中面臨著29個(gè)省的聯(lián)網(wǎng)收費(fèi)系統(tǒng)，其中所生產(chǎn)的數(shù)據(jù)，結(jié)構(gòu)不一、質(zhì)量差異也很大，同時(shí)，數(shù)據(jù)需要經(jīng)過收費(fèi)站——區(qū)域收費(fèi)分中心——省級(jí)聯(lián)網(wǎng)收費(fèi)中心——省廳信息中心——交通運(yùn)輸部這樣一系列的傳輸流程，才能傳回部級(jí)系統(tǒng)，在數(shù)據(jù)采集和傳輸過程中，由于網(wǎng)絡(luò)的因素存在數(shù)據(jù)漏傳、重傳等現(xiàn)象，因此，項(xiàng)目技術(shù)方案在設(shè)計(jì)時(shí)注重加強(qiáng)對(duì)數(shù)據(jù)質(zhì)量的監(jiān)控，對(duì)所有采集字段都設(shè)置了質(zhì)量標(biāo)準(zhǔn)，從不同階段數(shù)據(jù)量的監(jiān)控、字段邏輯合理性的監(jiān)控、數(shù)據(jù)傳輸過程的監(jiān)控等多個(gè)方面控制數(shù)據(jù)質(zhì)量。

效益評(píng)估

本案例研究提出的基于大數(shù)據(jù)技術(shù)的交通運(yùn)輸監(jiān)測數(shù)據(jù)采集和處理方案，為交通運(yùn)輸監(jiān)測大數(shù)據(jù)的采集與處理提供了新的技術(shù)途徑。研究成果推動(dòng)大數(shù)據(jù)技術(shù)在行業(yè)管理中的應(yīng)用，大大提升交通運(yùn)輸行業(yè)對(duì)大數(shù)據(jù)的綜合處理能力，解決現(xiàn)行制約行業(yè)數(shù)據(jù)發(fā)揮綜合效益的技術(shù)瓶頸，為充分挖掘和發(fā)揮行業(yè)數(shù)據(jù)效益提供可靠的技術(shù)手段，推動(dòng)行業(yè)信息化發(fā)展水平不斷提升，進(jìn)一步提升行業(yè)管理效率。同時(shí)，基于大數(shù)據(jù)技術(shù)的交通運(yùn)輸監(jiān)測數(shù)據(jù)采集和處理方案，其技術(shù)基礎(chǔ)是目前各類開源大數(shù)據(jù)技術(shù)，利用該方案建設(shè)行業(yè)大數(shù)據(jù)采集和處理的信息系統(tǒng)，將不需要再采購價(jià)格昂貴的Oracle、DB2等數(shù)據(jù)庫軟件，可以大大節(jié)省系統(tǒng)的建設(shè)經(jīng)費(fèi)，具有較強(qiáng)的經(jīng)濟(jì)效益。