大數(shù)據(jù)如何改善我們周圍的生存環(huán)境

在正式講環(huán)境大數(shù)據(jù)之前，我們來講一個和身邊有關(guān)的案例。大多數(shù)去過星巴克喝咖啡的人都會有這樣一個疑惑，“為什么星巴克室內(nèi)溫度比室外溫度低呢?”甚至有人開始抱怨說室內(nèi)溫度太低，但是這也不會帶來什么改變。因為在冷的環(huán)境下，顧客肯定會傾向于買熱咖啡，而且是大杯的熱咖啡。像溫度、水分、聲音這些東西跟我們平時生活息息相關(guān)，包括購買意愿實際上跟我們周圍環(huán)境都是直接相關(guān)的。

環(huán)境數(shù)據(jù)的特性

前段時間參加了100offer組織的大數(shù)據(jù)技術(shù)沙龍，參講嘉賓都是來自知名互聯(lián)網(wǎng)科技界的技術(shù)牛人，但是給我影響最深的還是佳格大數(shù)據(jù)CTO張弓講的大數(shù)據(jù)在環(huán)境改善方面所做的一些努力，如何通過數(shù)據(jù)分析來確定一定范圍內(nèi)氣候的變化，以及接下來大數(shù)據(jù)在環(huán)境技術(shù)方面還需要做那些完善。

張弓說，環(huán)境兩個字解開了說就是環(huán)我之境，周圍的環(huán)境才是我們所研究的數(shù)據(jù)核心。所謂環(huán)境大數(shù)據(jù)就是指氣象、溫度、濕度，包括道路圖、建筑圖、污染問題，也包括資源性的數(shù)據(jù)。這些數(shù)據(jù)有一個特點，具有時空場。

大家現(xiàn)在都講大數(shù)據(jù)，大數(shù)據(jù)就是最核心的三維，人們通過IT技術(shù)獲得更多的數(shù)據(jù)。大約15年前，我們就開始通過接觸環(huán)境數(shù)據(jù)來做天氣預(yù)報，因為這是一個處在前端、即時性要求非常高的預(yù)報，所以數(shù)據(jù)的模擬處理都是按照秒級來計算的。所以說數(shù)據(jù)量是非常大的，包括各種衛(wèi)星圖像所提供的點上數(shù)據(jù)、面上數(shù)據(jù)，但是主要以圖像或圖像流為主。在現(xiàn)在看來，那就是海量數(shù)據(jù)。

衛(wèi)星影像到全球原油儲量

這里再列舉一張Skybox拍攝的儲油罐的照片，從這一張照片上能獲得哪些有價值的數(shù)據(jù)呢?當然是可以從中獲悉儲油海港的大小，運輸量的大小。

這些數(shù)據(jù)都是從儲油罐的陰影來計算的，通過太陽高度角和陰影長度來計算儲油罐的油量，基本上利用這樣的方法能將全球80%以上的原油儲量計算出來，而且是完全不可阻止的。這就是黑科技的用途。

大數(shù)據(jù)就是技術(shù)型企業(yè)的根本，對數(shù)據(jù)的分析精度決定了數(shù)據(jù)的價值大小，張弓說他們以前分析數(shù)據(jù)的尺度非常粗糙。簡單的說，對時間的衡量是以年或月做單位的，這種數(shù)據(jù)分析的商業(yè)價值就會比較低，更多作為策略性使用。

環(huán)境數(shù)據(jù)：大數(shù)據(jù)時代前的海量數(shù)據(jù)

現(xiàn)在的原始數(shù)據(jù)是非常大的，比如一張從衛(wèi)星里發(fā)送出來的圖片，是一種描述地面的時空數(shù)據(jù)，數(shù)據(jù)量非常大。另外一類是模型數(shù)據(jù)，對模型進行分析。因為時空是連續(xù)的，所以用于模型分析的方法相對較為復(fù)雜，例如從內(nèi)蒙古刮過來的沙塵暴會到它的下風口北京，屬于連續(xù)時空性動作，很難用數(shù)據(jù)來描述。十幾年前基于數(shù)學算法，針對時空圖像數(shù)據(jù)利用MPI+Fortran來處理海量數(shù)據(jù)，還創(chuàng)造出HDF和NetCDF這些類似于現(xiàn)在Spark或Hadoop的工具。

眾所周知，數(shù)據(jù)最核心的部分就是具有極強的時空連續(xù)性，這里就涉及到數(shù)據(jù)獲取和數(shù)據(jù)融合的問題，因為不同的數(shù)據(jù)源，不同的數(shù)據(jù)類型、不同的數(shù)據(jù)格式，導致每一個時空上面顆粒分辨率是不同的，如何把250米*250米的數(shù)據(jù)和一個30米*40米的數(shù)據(jù)進行比較，這里就涉及到比較復(fù)雜的時空尺度融合問題。從數(shù)據(jù)結(jié)構(gòu)上考慮，如果時空數(shù)據(jù)本身是連續(xù)的，可能更便于計算，它的分析工具的內(nèi)核也是基于Spark為主。

數(shù)據(jù)可視化就更復(fù)雜了，這里面最主要的一個可視化類型就是把數(shù)據(jù)變成圖形來展現(xiàn)，而且讓人們更容易的接受這些圖片。

數(shù)據(jù)分析是針對圖像數(shù)據(jù)化過程的核心內(nèi)容，就相當于一個分析可視化的過程，從而獲得我想要的數(shù)據(jù)，這是比較困難的。所以這里就用到了能夠進行圖像識別和模式識別的機器學習和深度學習的概念。比如說如何用不同的顏色把田地里不同作物表示出來，哪怕是作物的方向也要識別出來的話。這里就要分析紋理的朝向和密度。第一步先做深度學習，原始分辨率是半米乘半米，深度學習要有足夠的層數(shù)，然后對圖像進行處理，建立一些窗口，比如建立3乘3、5乘5、9乘9窗口，下圖是用了208個方塊做出來的深度神經(jīng)網(wǎng)絡(luò)結(jié)果，識別度超過人眼。這樣做的結(jié)果就是能夠很清晰的知道莊稼的長勢如何，如何根據(jù)這些數(shù)據(jù)來安排接下來的土地利用情況，最大化土地利用率。

霧霾預(yù)測

這里可以來談?wù)勚霸诰W(wǎng)上傳播很廣的霧霾預(yù)警圖——佳格“霾圖”。這是基于環(huán)境大數(shù)據(jù)，對大氣污染進行實時監(jiān)測預(yù)警的工具?！蚌矆D”用地圖的形式實時展現(xiàn)我國任一地區(qū)的大氣污染數(shù)據(jù)，并預(yù)測未來五天的空氣質(zhì)量。其實時數(shù)據(jù)目前每小時更新一次，空間精度為五公里。用大數(shù)據(jù)直面霧霾這塊“硬骨頭”，不僅需要充分準確的數(shù)據(jù)源、優(yōu)秀的數(shù)據(jù)處理，還需要合適的可視化能力。

對于采集到的大量數(shù)據(jù)，需要進行整合處理才能用來生成霾圖。霾圖的數(shù)據(jù)算法主要包含兩個任務(wù)：

數(shù)據(jù)同化和實時展示任務(wù)。獲得的衛(wèi)星數(shù)據(jù)主要分兩種，一種是時間分辨率高的數(shù)據(jù)，一種是空間分辨率高的數(shù)據(jù)。這需要把兩種數(shù)據(jù)進行融合;同時衛(wèi)星并不會直接給出PM2.5的測量數(shù)據(jù)，而是一類光學指標，其中包括大氣氣溶膠光學厚度(aerosol optical depth)。利用基于不同城市自主研發(fā)的算法將這個變量計算出準確的PM2.5濃度值，并在“霾圖”上實時展示。

預(yù)測任務(wù)。目前國內(nèi)空氣質(zhì)量預(yù)測主要有兩種傳統(tǒng)方法：第一種是根據(jù)大氣物理化學(污染物的沉降，運輸和擴散以及二次氣溶膠反應(yīng))的經(jīng)典算法跟污染物排放清單的集合對未來大氣情況進行推測;第二種是基于數(shù)理統(tǒng)計模型方法。比如拿到過去十年的數(shù)據(jù)，通過對時間序列的季節(jié)性，趨勢性進行分析來做預(yù)測，輔以人工判斷。這兩種方法主要使用的都是地面監(jiān)測點提供的數(shù)據(jù)，并沒有用到衛(wèi)星數(shù)據(jù)。同時國內(nèi)排放清單數(shù)據(jù)存在時效性弱的弊端，并且地面監(jiān)測點分布不均且數(shù)據(jù)容易受到人為因素的影響。這樣所得到的預(yù)測結(jié)果存在著極大的偏差和局限，準確度較低。

相比這兩種傳統(tǒng)方法，佳格“霾圖”所開發(fā)的預(yù)測方法和模型具有自己的特點：首先，佳格做預(yù)測的數(shù)據(jù)是更精確均勻的衛(wèi)星數(shù)據(jù)。其次，佳格運用模型最優(yōu)化方法，綜合考慮多種國際上最先進的氣候預(yù)測模型，通過算法選出動態(tài)的最合適的預(yù)測模型，用于預(yù)測未來五天內(nèi)的空氣質(zhì)量情況。

張弓在最后的演講中也提到，大數(shù)據(jù)的潛力還沒有被完全挖掘出來，這需要時間和不斷的嘗試才能發(fā)揮它最大的價值，更好的改善我們的日常生活環(huán)境。