探秘“氣象大數(shù)據(jù)”

實(shí)況數(shù)據(jù)是氣象學(xué)科發(fā)展的最基礎(chǔ)數(shù)據(jù)，也是模式數(shù)據(jù)產(chǎn)生的源頭。如果沒(méi)有實(shí)況數(shù)據(jù)，計(jì)算機(jī)在運(yùn)算“模式數(shù)據(jù)”時(shí)就少了初始值，即使是回歸到?jīng)]有計(jì)算機(jī)的人工預(yù)報(bào)時(shí)代，少了實(shí)況數(shù)據(jù)也無(wú)法進(jìn)行天氣預(yù)報(bào)。

有人說(shuō)，在“大數(shù)據(jù)時(shí)代”這個(gè)概念出現(xiàn)前，最名副其實(shí)的大數(shù)據(jù)應(yīng)該數(shù)氣象數(shù)據(jù)。氣象數(shù)據(jù)一貫以龐雜眾多數(shù)據(jù)量大而著稱，但無(wú)論氣象數(shù)據(jù)多么復(fù)雜，總體可以分為兩類：一類數(shù)據(jù)被稱為“實(shí)況數(shù)據(jù)”，一類被稱為“模式數(shù)據(jù)”。

簡(jiǎn)單來(lái)說(shuō)，實(shí)況數(shù)據(jù)屬于“一般過(guò)去時(shí)數(shù)據(jù)”，來(lái)自不同的觀測(cè)設(shè)備。采集實(shí)況數(shù)據(jù)的氣象站點(diǎn)遍布全球，觀測(cè)范圍從幾千米的高空到地面，觀測(cè)手段從高科技的雷達(dá)衛(wèi)星到最原始的人工觀測(cè)，這些數(shù)據(jù)的采集都是為了更真實(shí)地反映出地球外圍大氣圈的運(yùn)動(dòng)變化，而這些寶貴的數(shù)據(jù)也可以稱之為天氣預(yù)報(bào)之源。

模式數(shù)據(jù)與實(shí)況數(shù)據(jù)相比，可以說(shuō)更簡(jiǎn)單也可以說(shuō)更復(fù)雜。簡(jiǎn)單的是，這類數(shù)據(jù)僅由各類計(jì)算機(jī)的程序運(yùn)算生成，屬于預(yù)測(cè)未來(lái)的“一般將來(lái)時(shí)數(shù)據(jù)”;說(shuō)它復(fù)雜則是因?yàn)橛?jì)算量非常龐大，運(yùn)用到的計(jì)算公式也異常復(fù)雜，為了更真實(shí)地模擬全球大氣的走向，運(yùn)算出的數(shù)據(jù)量也是十分驚人的!

下面，我們就一一來(lái)詳細(xì)揭秘這兩類“氣象大數(shù)據(jù)”。

天氣預(yù)報(bào)之源——實(shí)況數(shù)據(jù)

實(shí)況數(shù)據(jù)是氣象學(xué)科發(fā)展的最基礎(chǔ)數(shù)據(jù)，也是模式數(shù)據(jù)產(chǎn)生的源頭。如果沒(méi)有實(shí)況數(shù)據(jù)，計(jì)算機(jī)在運(yùn)算“模式數(shù)據(jù)”時(shí)就少了初始值，即使是回歸到?jīng)]有計(jì)算機(jī)的人工預(yù)報(bào)時(shí)代，少了實(shí)況數(shù)據(jù)也無(wú)法進(jìn)行天氣預(yù)報(bào)。

那么，實(shí)況數(shù)據(jù)是如何采集的呢?

很多年前，實(shí)況數(shù)據(jù)的采集和傳輸工作大部分都要靠人力完成。氣象觀測(cè)員每天要定時(shí)記錄百葉箱內(nèi)的溫度、濕度等，并通過(guò)打電話、發(fā)電報(bào)等方式將全國(guó)觀測(cè)數(shù)據(jù)進(jìn)行匯總。到今天為止，仍有很多發(fā)展中國(guó)家采用這種采集傳輸方式。

而隨著科技的發(fā)展，在計(jì)算機(jī)、電子和通信技術(shù)高度發(fā)達(dá)的今天，實(shí)況數(shù)據(jù)的采集和傳輸技術(shù)也有了天翻地覆的變化。所有實(shí)況數(shù)據(jù)的采集和傳輸幾乎都可以通過(guò)自動(dòng)化完成，僅有少數(shù)幾個(gè)項(xiàng)目需要人工參與，比如地面能見(jiàn)度觀測(cè)、施放探空氣球、衛(wèi)星軌道控制等。

目前，在氣象觀測(cè)站中溫度、濕度、氣壓、風(fēng)向、風(fēng)速等物理量均由電子控制的機(jī)械設(shè)備完成，這些觀測(cè)站配有嵌入式芯片，芯片上有一個(gè)精確的時(shí)鐘，可以準(zhǔn)時(shí)地周期性工作，例如在整點(diǎn)每隔5分鐘、10分鐘或1小時(shí)自動(dòng)采集周圍的環(huán)境數(shù)據(jù)，并自動(dòng)將采集的氣象數(shù)據(jù)編碼為二進(jìn)制數(shù)據(jù)流，發(fā)送到數(shù)據(jù)庫(kù)中。截至2015年年底，我國(guó)大約有50000多個(gè)這樣的地面觀測(cè)站，所有觀測(cè)站均為自動(dòng)站。

由氣象觀測(cè)站觀測(cè)到的數(shù)據(jù)信息會(huì)首先在各省的氣象臺(tái)進(jìn)行匯總，然后通過(guò)“質(zhì)量控制”的環(huán)節(jié)，去掉或訂正某些由于觀測(cè)設(shè)備故障造成的錯(cuò)誤數(shù)據(jù)，質(zhì)量控制過(guò)程同樣也是由計(jì)算機(jī)程序自動(dòng)實(shí)現(xiàn)的。完成初步的質(zhì)量控制后，各省就利用FTP文件傳輸?shù)姆绞?，將該省該時(shí)刻全部觀測(cè)站點(diǎn)全部物理量數(shù)據(jù)打包為一個(gè)大文件，上傳到位于北京的國(guó)家氣象信息中心的通信臺(tái)。

世界其他國(guó)家的觀測(cè)數(shù)據(jù)的采集和傳輸也基本大同小異。除此以外，國(guó)與國(guó)之間也要進(jìn)行實(shí)況數(shù)據(jù)的交換，而且必須是無(wú)償交換。這是因?yàn)榇髿獾倪\(yùn)動(dòng)是全球性的，僅僅依靠本國(guó)的實(shí)況數(shù)據(jù)無(wú)法做出準(zhǔn)確的天氣預(yù)報(bào)，因此，世界氣象組織規(guī)定各國(guó)之間必須無(wú)償提供氣象觀測(cè)資料。不過(guò)，有的時(shí)候出于信息保護(hù)或軍事安全的考慮，并不會(huì)對(duì)外廣播全部的觀測(cè)站點(diǎn)數(shù)據(jù)。那么，每個(gè)國(guó)家需要義務(wù)提供多少站點(diǎn)信息，又以什么標(biāo)準(zhǔn)交換，都交換哪些觀測(cè)項(xiàng)目，這些都由世界氣象組織(WMO)制定和協(xié)調(diào)。

氣象大數(shù)據(jù)之魂——模式數(shù)據(jù)

模式數(shù)據(jù)是由高性能計(jì)算機(jī)根據(jù)當(dāng)前天氣實(shí)況數(shù)據(jù)(包括地面、高空、衛(wèi)星等)通過(guò)物理方程計(jì)算得出的?？梢院?jiǎn)單形象地認(rèn)為，有這樣一套龐大的計(jì)算天氣預(yù)報(bào)的程序，輸入當(dāng)前已知的天氣現(xiàn)象，就可以輸出未來(lái)還沒(méi)有發(fā)生的天氣現(xiàn)象。計(jì)算出的天氣預(yù)報(bào)結(jié)果通常以規(guī)則的等經(jīng)緯度網(wǎng)格來(lái)表示，網(wǎng)格上的每一個(gè)點(diǎn)代表這個(gè)經(jīng)緯度上未來(lái)某時(shí)刻某個(gè)物理量(比如溫度)的數(shù)值。這就是現(xiàn)代天氣預(yù)報(bào)業(yè)務(wù)的基礎(chǔ)叫“數(shù)值模式預(yù)報(bào)”，而這個(gè)龐大的計(jì)算機(jī)程序就被稱作“模式系統(tǒng)”。

所有的發(fā)達(dá)國(guó)家都有自己的一套用來(lái)演算天氣情況的模式系統(tǒng)，有的國(guó)家甚至還具有不止一套的系統(tǒng)。模式系統(tǒng)一般每天計(jì)算2～4次，通常在整點(diǎn)開(kāi)始，利用整點(diǎn)前采集到的實(shí)況數(shù)據(jù)進(jìn)行計(jì)算，每次計(jì)算要生成大概幾百個(gè)物理量，包括從開(kāi)始計(jì)算的時(shí)刻(又稱作“起報(bào)時(shí)刻”)至未來(lái)240小時(shí)時(shí)效(或更長(zhǎng))的一系列二進(jìn)制網(wǎng)格數(shù)據(jù)，預(yù)報(bào)時(shí)效通常間隔3小時(shí)。目前氣象網(wǎng)格經(jīng)緯度間距一般在0.25度數(shù)量級(jí)，一個(gè)網(wǎng)格文件大小通常在1～2兆，包含幾十萬(wàn)個(gè)浮點(diǎn)數(shù)值。

當(dāng)模式的預(yù)報(bào)時(shí)效越長(zhǎng)，時(shí)效間隔越密，網(wǎng)格點(diǎn)間距越小，網(wǎng)格點(diǎn)數(shù)值和未來(lái)實(shí)況差異越小，就證明該模式系統(tǒng)性能越好，該國(guó)氣象水平越發(fā)達(dá)。由于模式預(yù)測(cè)的物理量多，每天還要多次起報(bào)，預(yù)報(bào)時(shí)效密集，模式種類繁多，模式數(shù)據(jù)必須至少存儲(chǔ)一星期等要求，因此，在氣象數(shù)據(jù)中，無(wú)論從數(shù)據(jù)個(gè)數(shù)還是數(shù)據(jù)存儲(chǔ)量來(lái)說(shuō)，模式數(shù)據(jù)是比重最大的“大數(shù)據(jù)”。

和實(shí)況數(shù)據(jù)不同的是，具備模式系統(tǒng)的國(guó)家通常沒(méi)有義務(wù)向其他國(guó)家無(wú)償提供本國(guó)的模式數(shù)據(jù)，或者最多無(wú)償提供經(jīng)過(guò)抽稀處理的粗粒度模式數(shù)據(jù)。想要得到發(fā)達(dá)國(guó)家的高質(zhì)量模式數(shù)據(jù)，必須通過(guò)購(gòu)買才可以。例如想要得到歐洲中心的0.125度細(xì)網(wǎng)格模式數(shù)據(jù)，無(wú)論中國(guó)氣象局還是美國(guó)氣象局都必須向歐洲中心支付高昂的年費(fèi)，才能每天獲得高質(zhì)量的歐洲中心模式數(shù)據(jù)。

需要注意的是，這里購(gòu)買的僅僅是模式系統(tǒng)最終的“輸出”數(shù)據(jù)，而不是模式系統(tǒng)本身。因?yàn)槟Ｊ较到y(tǒng)水平的好壞代表了一個(gè)國(guó)家氣象的硬實(shí)力，模式系統(tǒng)的源代碼(通常是大量的Fortran程序)更是頂級(jí)領(lǐng)域技術(shù)機(jī)密，屬于非賣品。

跨國(guó)模式數(shù)據(jù)也是利用FTP等方式進(jìn)行傳輸，傳輸?shù)母袷揭话闶遣捎檬澜鐨庀蠼M織制定的一種稱作GRIB編碼的文件規(guī)范，這種文件比較適合描述模式數(shù)據(jù)。

氣象數(shù)據(jù)如何傳輸

看完“實(shí)況數(shù)據(jù)”和“模式數(shù)據(jù)”的介紹，有沒(méi)有覺(jué)得氣象數(shù)據(jù)量大浩如煙海，這么多的數(shù)據(jù)都要一一傳送到預(yù)報(bào)員手里，又需要多長(zhǎng)時(shí)間呢?一般來(lái)說(shuō)，地面、高空、雷達(dá)觀測(cè)數(shù)據(jù)的采集和傳輸過(guò)程較快，從數(shù)據(jù)采集到可視化向預(yù)報(bào)員展示，通常幾分鐘時(shí)間就可以完成。也就是說(shuō)，如果某地出現(xiàn)降雨天氣，只要儀器能觀測(cè)到，幾分鐘后位于氣象臺(tái)的預(yù)報(bào)員就會(huì)知道。

相對(duì)而言，靜止氣象衛(wèi)星觀測(cè)的時(shí)間稍長(zhǎng)，中國(guó)的風(fēng)云衛(wèi)星一般需要20多分鐘才能完成全球掃描，大概半小時(shí)后，預(yù)報(bào)員才能在電腦上看到衛(wèi)星云圖。

這里面模式數(shù)據(jù)傳輸最慢。以上午08時(shí)起報(bào)的歐洲中心模式系統(tǒng)為例，首先計(jì)算未來(lái)3小時(shí)(上午11時(shí))的所有物理量，打包為1個(gè)GRIB文件并向其他國(guó)家傳輸，然后再計(jì)算未來(lái)6小時(shí)的數(shù)據(jù)，打包傳輸，直到最后完成10天后上午08時(shí)的預(yù)報(bào)數(shù)據(jù)計(jì)算并傳輸，每個(gè)預(yù)報(bào)時(shí)效的GRIB文件大概100多兆，計(jì)算一個(gè)預(yù)報(bào)時(shí)效大概需要幾分鐘時(shí)間，模式系統(tǒng)啟動(dòng)也需要很長(zhǎng)時(shí)間，這樣北京收到歐洲中心在早08時(shí)起報(bào)的第1個(gè)GRIB文件大概要到下午1時(shí)45分，完成最后一個(gè)240小時(shí)預(yù)報(bào)時(shí)效GRIB文件的接收要到下午3時(shí)。這樣，如果要做早08時(shí)到下午3時(shí)的天氣預(yù)報(bào)，只能使用前1個(gè)起報(bào)時(shí)刻的模式數(shù)據(jù)，比如前一天晚20時(shí)的模式數(shù)據(jù)。

在我國(guó)，國(guó)家氣象信息中心通信臺(tái)承擔(dān)著數(shù)據(jù)傳輸和分發(fā)的樞紐作用。接收的數(shù)據(jù)包含來(lái)自各省的地面、高空、雷達(dá)數(shù)據(jù)、衛(wèi)星數(shù)據(jù)、中國(guó)模式系統(tǒng)輸出結(jié)果的數(shù)據(jù)以及其他國(guó)家的觀測(cè)數(shù)據(jù)和模式數(shù)據(jù)。同時(shí)，還承擔(dān)數(shù)據(jù)的發(fā)送功能，每天將各種觀測(cè)數(shù)據(jù)和模式數(shù)據(jù)通過(guò)地面網(wǎng)絡(luò)或通信衛(wèi)星收發(fā)系統(tǒng)傳送給31個(gè)省市區(qū)氣象臺(tái)和其他國(guó)家。

省一級(jí)的氣象臺(tái)只負(fù)責(zé)將本省的觀測(cè)數(shù)據(jù)發(fā)送至國(guó)家氣象信息中心，不進(jìn)行其他數(shù)據(jù)的傳送，同時(shí)接收來(lái)自國(guó)家氣象信息中心分發(fā)的其他省的數(shù)據(jù)或各國(guó)模式系統(tǒng)數(shù)據(jù)。一般來(lái)說(shuō)，由于國(guó)家到省級(jí)的網(wǎng)絡(luò)傳輸需要較長(zhǎng)時(shí)間，因此，國(guó)家級(jí)預(yù)報(bào)員在時(shí)間上將先于省級(jí)預(yù)報(bào)員查看到最新的氣象數(shù)據(jù)。

預(yù)報(bào)員如何接收氣象數(shù)據(jù)

解釋完了數(shù)據(jù)是怎么進(jìn)行傳輸和接收的，最后一個(gè)問(wèn)題，一個(gè)個(gè)數(shù)據(jù)又是如何出現(xiàn)在預(yù)報(bào)員的計(jì)算機(jī)中?這其實(shí)是一套先進(jìn)、復(fù)雜的大數(shù)據(jù)處理系統(tǒng)。

數(shù)據(jù)到達(dá)通信臺(tái)后，首先兵分兩路，地面、高空站點(diǎn)實(shí)況報(bào)文數(shù)據(jù)被轉(zhuǎn)發(fā)至解報(bào)計(jì)算機(jī)，完成對(duì)于BUFR編碼的解碼，提取出報(bào)文中的站號(hào)、物理量值等信息，寫入一個(gè)關(guān)系型數(shù)據(jù)庫(kù)中作為緩存，然后通過(guò)每隔幾分鐘的定時(shí)作業(yè)，將同一觀測(cè)時(shí)刻全部站點(diǎn)的物理量信息從關(guān)系型數(shù)據(jù)庫(kù)中提取出來(lái)，制作為一個(gè)全國(guó)全部站點(diǎn)觀測(cè)文件，寫入到一個(gè)專供預(yù)報(bào)員客戶端軟件訪問(wèn)的高速存儲(chǔ)服務(wù)器中。

另外一路大數(shù)據(jù)包括模式數(shù)據(jù)、衛(wèi)星、雷達(dá)數(shù)據(jù)，這一類數(shù)據(jù)本身不是報(bào)文，不需要像站點(diǎn)實(shí)況數(shù)據(jù)那樣先拼接再寫入的過(guò)程，因此，通信臺(tái)直接將這些數(shù)據(jù)發(fā)送給高速解析服務(wù)器，完成類似GRIB解碼、衛(wèi)星通道拆分等操作，解碼后的結(jié)果一般是一些更小更多的文件，直接寫入到和存儲(chǔ)全國(guó)站點(diǎn)觀測(cè)文件相同的高速存儲(chǔ)服務(wù)器中，供預(yù)報(bào)員客戶端軟件訪問(wèn)。所有數(shù)據(jù)的解報(bào)、解碼時(shí)間一般幾秒鐘即可完成。

中國(guó)的預(yù)報(bào)客戶端稱作“MICAPS”(全稱氣象信息綜合分析處理系統(tǒng))，主要功能是將高速存儲(chǔ)服務(wù)器中的所有氣象數(shù)據(jù)進(jìn)行可視化展示，并提供便捷的瀏覽和交互操作，預(yù)報(bào)員利用顯示出來(lái)的模式數(shù)據(jù)和所有實(shí)況數(shù)據(jù)，結(jié)合自己的分析，在MICAPS上繪制出天氣預(yù)報(bào)的最終結(jié)果，最后將預(yù)報(bào)結(jié)果出圖和撰寫成文字發(fā)送給發(fā)布部門，比如網(wǎng)站、報(bào)紙、電視臺(tái)等。