大數(shù)據(jù)的數(shù)據(jù)來源 需要真實可靠_數(shù)據(jù)分析師考試

在當(dāng)今的技術(shù)支持下，大數(shù)據(jù)的表現(xiàn)成功將人類的想象轉(zhuǎn)化為現(xiàn)實，并逐漸滲透進(jìn)人們的生活。其意義已不僅僅只是預(yù)測結(jié)果，改善交通狀況，更重要的是帶給決策者一種新鮮的思維方式：利用已知的現(xiàn)在去預(yù)測未知的未來。隨著智能交通的普及，大數(shù)據(jù)也在各個方面影響著人們的生活、出行方式，人們通過上傳數(shù)據(jù)、共享數(shù)據(jù)，共同完成數(shù)據(jù)收集的過程，分享數(shù)據(jù)處理結(jié)果，形成良性循環(huán)，徹底解決交通擁堵問題。

　　交通大數(shù)據(jù)時代的來臨是智能交通發(fā)展的必然趨勢，在這個進(jìn)程中我們也將面臨前所未有的問題和挑戰(zhàn)。所面臨的問題主要有幾個方面：一是交通數(shù)據(jù)分散在不同部門(我國與交通相關(guān)的部門有10多個)，而部門之間又缺乏開放互通，造成了交通數(shù)據(jù)資源的條塊化分割和信息碎片化等現(xiàn)象;二是由于交通檢測方式多樣，信息模式復(fù)雜，造成數(shù)據(jù)種類繁多，且缺乏統(tǒng)一的標(biāo)準(zhǔn);三是目前尚缺乏有效的市場化推進(jìn)機(jī)制，基于大數(shù)據(jù)的交通信息服務(wù)產(chǎn)業(yè)鏈、價值鏈尚未真正形成。

　　當(dāng)下，大數(shù)據(jù)概念愈發(fā)火爆，如何利用“大數(shù)據(jù)”解決交通擁堵、車務(wù)管理等問題，越來越成為各類汽車服務(wù)公司、交通管理部門關(guān)注的焦點和亟需攻破的難關(guān)。如何真正找到有效、扎實的商業(yè)模式，成為了擺在每一個交通類數(shù)據(jù)處理創(chuàng)業(yè)者面前的重要課題。

　　數(shù)據(jù)來源需要真實可靠

　　在交通領(lǐng)域，海量的數(shù)據(jù)主要包括各類交通運行監(jiān)控、服務(wù)和應(yīng)用數(shù)據(jù)，如公路、航道、客運場站和港口等視頻監(jiān)控數(shù)據(jù)，城市和高速公路、干線公路的各類流量、氣象檢測數(shù)據(jù)， 城市公交、出租車和客運車輛衛(wèi)星定位數(shù)據(jù)，以及公路和航道收費數(shù)據(jù)等等，這些交通數(shù)據(jù)類型繁多，而且體積巨大。

　　交通數(shù)據(jù)采集的范圍、廣度和深度急劇增加，隨著智能交通系統(tǒng)建設(shè)規(guī)模的不斷擴(kuò)大，正在形成以微波、線圈、GPS、車牌等交通流檢測數(shù)據(jù)，交通監(jiān)控視頻數(shù)據(jù)，以及系統(tǒng)數(shù)據(jù)和服務(wù)數(shù)據(jù)等為主體的海量交通數(shù)據(jù)。以北京市為例，6萬余輛出租車一天就會產(chǎn)生數(shù)億條GPS數(shù)據(jù)，車牌識別、交通監(jiān)控視頻等數(shù)據(jù)量更大，交通相關(guān)的數(shù)據(jù)量級已從TB級別躍升到PB級別，傳統(tǒng)的交通數(shù)據(jù)分析方法已很難有效支撐這么龐大的數(shù)據(jù)體的開發(fā)與利用。

　　相對國內(nèi)剛起步的智能交通，國外已有成功經(jīng)驗。如歐洲的智能交通，在大數(shù)據(jù)技術(shù)的支持下能夠做到精確采集車輛CAN總線的數(shù)據(jù)，獲得公交車的位置、速度、轉(zhuǎn)彎的角度、發(fā)動機(jī)的狀態(tài)、實時的油耗等，這對優(yōu)化駕駛行為和節(jié)能減排等綠色智能公交提供了全新的應(yīng)用。

　　隨著寬帶無線接入技術(shù)和移動終端技術(shù)的飛速發(fā)展，通過移動互聯(lián)網(wǎng)隨時隨地乃至在移動過程中方便地從互聯(lián)網(wǎng)獲取信息，成為用戶對信息服務(wù)的主要追求。

　　最近兩年，智能手機(jī)中的公眾交通出行應(yīng)用軟件開始得到發(fā)展，如北京交管局、廣州交警支隊、上海城建委、山東高速等紛紛發(fā)布了針對城市道路或高速公路實時路況發(fā)布的智能手機(jī)應(yīng)用軟件。這些應(yīng)用軟件已經(jīng)被大量下載，表明用戶在出行期間對交通信息的需求已經(jīng)越來越強(qiáng)烈。

　　數(shù)據(jù)挖掘 更加“高大上”

　　大數(shù)據(jù)交通 數(shù)據(jù)收集是數(shù)據(jù)價值挖掘的前提，大數(shù)據(jù)在智能交通系統(tǒng)的有效運作，顯然離不開數(shù)據(jù)存儲和分析技術(shù)。

　　就國內(nèi)來說，以浙江省某市為例，近年來投入使用的高清卡口設(shè)備數(shù)量越來越多，儲存的車輛拍照信息呈現(xiàn)爆發(fā)式的增長，數(shù)據(jù)儲存技術(shù)首先遇到了擴(kuò)容的難題，如繼續(xù)沿用小型機(jī)擴(kuò)容的方案會導(dǎo)致成本大幅增加，如何有效存儲這些海量數(shù)據(jù)？除了大樹據(jù)存儲，大數(shù)據(jù)的挖掘與利用更為重要。

　　杭州誠道科技有限公司銷售總監(jiān)陳海濤在接受記者采訪時回憶：在與英特爾合作之前，誠道所存儲的幾百TB的數(shù)據(jù)，基于關(guān)系數(shù)據(jù)庫很難進(jìn)行細(xì)分與挖掘，所開發(fā)的應(yīng)用最后也多被拖垮。自2006年起，使用英特爾Hadoop軟件發(fā)行版后，海量圖像和視頻數(shù)據(jù)不但實現(xiàn)了可靠和高性能的存儲，而且還能被大量的使用者快速地訪問和使用，并且有效解決了Hadoop底層的安全性、穩(wěn)定性、高效性、擴(kuò)展性等問題。在與英特爾合作過程中，誠道可以完全拋開這些技術(shù)底層的開發(fā)，將更多精力放在上層業(yè)務(wù)的開發(fā)上，給客戶提供最優(yōu)的解決方案。目前浙江省某市可保存的歷史違法數(shù)據(jù)從3個月延長到24個月，從24億條過車數(shù)據(jù)中完成機(jī)動車的號牌精確查詢和行車軌跡查詢，僅需不到1秒的時間。

　　中國擁有世界最大的人口和信息量，必然會成為大數(shù)據(jù)應(yīng)用方面的先鋒，只是大數(shù)據(jù)現(xiàn)在還處于啟蒙階段，大多數(shù)企業(yè)還是奉行已有的業(yè)務(wù)邏輯。但隨著數(shù)據(jù)的全面采集，越來越多的企業(yè)可以使用新的業(yè)務(wù)和算法來進(jìn)一步挖掘數(shù)據(jù)的內(nèi)在價值，實現(xiàn)“從數(shù)據(jù)到信息、從信息到智慧”的升級。未來的大數(shù)據(jù)應(yīng)用會從海量數(shù)據(jù)的實時處理和深度挖掘方面進(jìn)一步突破。公交刷卡數(shù)據(jù)挖掘、出租車軌跡挖掘、手機(jī)數(shù)據(jù)挖掘、社會化網(wǎng)絡(luò)數(shù)據(jù)挖掘將成為未來大數(shù)據(jù)的主要方向。

　　結(jié)語

　　我們再細(xì)數(shù)一下大數(shù)據(jù)技術(shù)在智能交通應(yīng)用領(lǐng)域的挑戰(zhàn)：包括隱私，數(shù)據(jù)處理硬件設(shè)施，數(shù)據(jù)不完備性，模型有效性等領(lǐng)域，這些都是我們未來需要繼續(xù)探討和解決的問題。要解決這些問題，需要做好以下幾項挑戰(zhàn)性工作：一是如何從政策和技術(shù)上突破交通數(shù)據(jù)資源互通、共享的壁壘，消除信息分散、內(nèi)容單一等問題;二是如何確保交通數(shù)據(jù)資源的安全性，在數(shù)據(jù)開放的同時，加強(qiáng)數(shù)據(jù)的安全監(jiān)管，尊重和保護(hù)相關(guān)政府部門、交通企業(yè)以及個人的機(jī)密和隱私不受侵犯;三是如何實現(xiàn)交通數(shù)據(jù)資源的綜合利用效率，將交通路況檢測、GPS、交通監(jiān)控視頻等零散信息進(jìn)行有效地聯(lián)系、匯聚和發(fā)掘，使其能夠真正支撐交通系統(tǒng)的運營管理，提高交通運行效率和安全水平。 未來大數(shù)據(jù)技術(shù)在交通運行管理優(yōu)化、面向車輛和出行者的智能化服務(wù)，以及交通應(yīng)急和安全保障等方面都將形成巨大的市場。