大數(shù)據(jù)能否破解數(shù)據(jù)造假難題_數(shù)據(jù)分析師考試

大數(shù)據(jù)是近年來(lái)的一個(gè)熱詞。什么是大數(shù)據(jù)分析？通俗地講，就是運(yùn)用一些數(shù)據(jù)分析軟件工具，對(duì)海量的、混雜的數(shù)據(jù)進(jìn)行分析，在融合豐富的實(shí)踐基礎(chǔ)上，運(yùn)用創(chuàng)造性思維，得出突破性的結(jié)論。大數(shù)據(jù)包括3個(gè)特征：一是具有海量的、混雜的基礎(chǔ)數(shù)據(jù)；二是熟練運(yùn)用Hadoop和Spark等分析軟件工具；三是具有開(kāi)放的、有創(chuàng)造性的思維方式。只有具備了這3項(xiàng)，才能真正做好大數(shù)據(jù)分析。

　　大數(shù)據(jù)和以前的數(shù)據(jù)分析有3個(gè)明顯的區(qū)別：一是原來(lái)的數(shù)據(jù)分析針對(duì)部分樣本，大數(shù)據(jù)是所有的數(shù)據(jù)都要參與計(jì)算；二是大數(shù)據(jù)中，相關(guān)關(guān)系重于因果關(guān)系；三是大數(shù)據(jù)允許混雜數(shù)據(jù)甚至錯(cuò)誤數(shù)據(jù)。

　　我們得到海量數(shù)據(jù)后，首先，要對(duì)這些數(shù)據(jù)進(jìn)行本體分析，即對(duì)其本身進(jìn)行分析，如污染源數(shù)據(jù)、環(huán)境質(zhì)量數(shù)據(jù)等。其次，要做擴(kuò)展分析，如分析清楚污染源數(shù)據(jù)和環(huán)境質(zhì)量有什么關(guān)系。第三，要做延伸分析，即將污染源數(shù)據(jù)、環(huán)境質(zhì)量數(shù)據(jù)和經(jīng)濟(jì)數(shù)據(jù)、人口數(shù)據(jù)、產(chǎn)業(yè)結(jié)構(gòu)的數(shù)據(jù)結(jié)合起來(lái)進(jìn)行分析。如果不做這些分析，就不算是大數(shù)據(jù)分析，或者說(shuō)做不好大數(shù)據(jù)分析。

　　中國(guó)環(huán)境報(bào)：您剛剛談到，大數(shù)據(jù)允許混雜數(shù)據(jù)甚至錯(cuò)誤數(shù)據(jù)，這是為什么？

　　林宣雄：大數(shù)據(jù)允許混雜數(shù)據(jù)甚至錯(cuò)誤數(shù)據(jù)。這是因?yàn)?，大?shù)據(jù)能夠通過(guò)造假數(shù)據(jù)的特征將其辨識(shí)出來(lái)。造假的數(shù)據(jù)和平常的數(shù)據(jù)不一樣，可以通過(guò)環(huán)比、同比、類比，發(fā)現(xiàn)數(shù)據(jù)中的異動(dòng)，判斷企業(yè)是否存在數(shù)據(jù)造假行為。

　　目前，通過(guò)線上、線下數(shù)據(jù)對(duì)比，能夠迅速發(fā)現(xiàn)企業(yè)偷排行為。一個(gè)真實(shí)的案例是，某公司焦?fàn)t煙囪二氧化硫自動(dòng)監(jiān)控?cái)?shù)據(jù)長(zhǎng)期穩(wěn)定在20mg/m3。但現(xiàn)場(chǎng)人工監(jiān)測(cè)發(fā)現(xiàn)，實(shí)際數(shù)據(jù)為100mg/m3~200mg/m3，檢查前后自動(dòng)監(jiān)控?cái)?shù)據(jù)差距較大。經(jīng)調(diào)查證實(shí)，企業(yè)擅自拔出部分二氧化硫測(cè)量探頭，使采樣孔漏氣，稀釋排放污染物，人為干擾采樣裝置、降低測(cè)量數(shù)據(jù)，造成監(jiān)控?cái)?shù)據(jù)失真。針對(duì)公司的違法行為，環(huán)保局依法對(duì)企業(yè)下達(dá)了處罰決定書(shū)，對(duì)企業(yè)存在的超標(biāo)排放、干擾自動(dòng)監(jiān)控?cái)?shù)據(jù)行為，分別給予6萬(wàn)元、3萬(wàn)元處罰，追繳2015年第一季度焦?fàn)t煙囪二氧化硫排污費(fèi)，啟動(dòng)按日計(jì)罰程序，公安局對(duì)涉嫌違法的主管人員和其他直接責(zé)任人作出了行政拘留10日的行政處罰。

　　目前，我們正通過(guò)分析數(shù)據(jù)異常波動(dòng)為環(huán)保部門(mén)精準(zhǔn)執(zhí)法提供線索。例如，我們每周都要為浙江省嘉興市環(huán)保局提供一份在線數(shù)據(jù)出現(xiàn)異動(dòng)的企業(yè)名單，環(huán)保局可以根據(jù)這份名單，有針對(duì)性地執(zhí)法檢查，執(zhí)法效率可大大提高。

　　中國(guó)環(huán)境報(bào)：據(jù)您了解國(guó)外有沒(méi)有通過(guò)大數(shù)據(jù)研究，發(fā)現(xiàn)環(huán)保數(shù)據(jù)造假的案例？

　　林宣雄：目前，國(guó)外大數(shù)據(jù)在環(huán)保領(lǐng)域還沒(méi)有典型案例。這是因?yàn)?，一些發(fā)達(dá)國(guó)家的環(huán)境問(wèn)題已經(jīng)得到了較好解決，而大數(shù)據(jù)的概念是這幾年才提出的。但大數(shù)據(jù)應(yīng)用在國(guó)外有一個(gè)經(jīng)典案例，值得借鑒。2009年，甲型H1N1流感暴發(fā)的幾周前，谷歌公司通過(guò)對(duì)運(yùn)用谷歌軟件搜索流感相關(guān)信息的人群進(jìn)行分析，成功地預(yù)測(cè)了流感在美國(guó)境內(nèi)的傳播，其分析結(jié)果甚至具體到特定的地區(qū)和州，并且非常及時(shí)，令公共衛(wèi)生官員倍感震驚。因?yàn)橥ǔ?lái)說(shuō)，美國(guó)疾病控制中心要在流感暴發(fā)一兩周之后才可以做到這些。

　　大數(shù)據(jù)擁有如此大的威力，對(duì)于環(huán)境問(wèn)題十分嚴(yán)峻的我國(guó)來(lái)說(shuō)，其應(yīng)用意義更加巨大。將大數(shù)據(jù)應(yīng)用于環(huán)保領(lǐng)域，也將成為我國(guó)的一大創(chuàng)新。