大數(shù)據(jù)的是與不是

在時(shí)下的流行語中，很難找出一個(gè)比“大數(shù)據(jù)”更吸引眼球的術(shù)語了。1980年，阿爾文 托夫勒在《第三次浪潮》中預(yù)言了信息時(shí)代的到來會(huì)帶來數(shù)據(jù)爆發(fā)，約翰 梅西在1998年的美國高等計(jì)算機(jī)系統(tǒng)協(xié)會(huì)大會(huì)上首次提出“大數(shù)據(jù)(big data)”一詞。什么是大數(shù)據(jù)?這一概念目前尚未形成統(tǒng)一的定義。幾種代表性的觀點(diǎn)如下：麥肯錫認(rèn)為“大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合”;維基百科認(rèn)為“大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集”;全球最具權(quán)威的 IT研究與顧問咨詢公司——高德納公司認(rèn)為“大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)”。

　　大數(shù)據(jù)時(shí)代已經(jīng)來臨，它將在眾多領(lǐng)域掀起變革的巨浪，這是勿庸置疑的事實(shí)，在以云計(jì)算為代表的技術(shù)創(chuàng)新大幕的襯托下，這些原本很難收集和使用的數(shù)據(jù)開始容易被利用起來了，通過各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會(huì)逐步為人類創(chuàng)造更多的價(jià)值，而對(duì)于電網(wǎng)企業(yè)來說，大數(shù)據(jù)的應(yīng)用同樣會(huì)促進(jìn)企業(yè)的跨越發(fā)展。

　　大數(shù)據(jù)的本質(zhì)是事物的時(shí)域、空域記錄，并非事物的描述數(shù)據(jù)

　　對(duì)于大數(shù)據(jù)的特點(diǎn)，IT界通常用Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值)這4個(gè) V來概括。Volume，指數(shù)據(jù)體量巨大，從TB級(jí)別躍升到PB乃至EB級(jí)別;Variety，指數(shù)據(jù)類型繁多。除了傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，大量非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)如網(wǎng)絡(luò)日志、音頻、視頻、圖片等;Value，指價(jià)值密度低，但大數(shù)據(jù)分析的價(jià)值高。價(jià)值密度的高低與數(shù)據(jù)總量的大小成反比，以視頻為例，一部一小時(shí)的視頻，在連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅只有一兩秒;Velocity，指變化速度快。大數(shù)據(jù)不僅量大，而且變化快，大數(shù)據(jù)的應(yīng)用依賴于對(duì)數(shù)據(jù)的快速處理。但在筆者看來，對(duì)大數(shù)據(jù)作4V特點(diǎn)的概括是現(xiàn)象而非本質(zhì)總結(jié)。

　　其實(shí)人類文明就是大數(shù)據(jù)的記錄與應(yīng)用積累，當(dāng)今社會(huì)進(jìn)入了信息時(shí)代，信息化的本質(zhì)是用 IT技術(shù)和方法描述世界，描述事物的內(nèi)在本質(zhì)、過程規(guī)律和業(yè)務(wù)規(guī)則，信息化的應(yīng)用過程就是在描述好事物的軟件系統(tǒng)中實(shí)現(xiàn)人工和 /或機(jī)器記錄，大數(shù)據(jù)的本質(zhì)是事物的時(shí)域、空域記錄，并非事物的描述數(shù)據(jù)，大數(shù)據(jù)成為熱門是因?yàn)樾畔⒒⒒ヂ?lián)網(wǎng)、終端的普及和應(yīng)用讓我們進(jìn)入了一個(gè)機(jī)器自動(dòng)記錄的時(shí)代，爆炸性增長(zhǎng)的記錄數(shù)據(jù)使傳統(tǒng)的人工、單機(jī) /單節(jié)點(diǎn)的機(jī)器處理能力無法完成記錄的分析、挖掘，由此催生了云計(jì)算和大數(shù)據(jù)概念并推動(dòng)人工智能的工程應(yīng)用，機(jī)器學(xué)習(xí)等人工智能技術(shù)就是機(jī)器處理大數(shù)據(jù)及大數(shù)據(jù)應(yīng)用高級(jí)模式。

　　大數(shù)據(jù)應(yīng)用的本質(zhì)是推導(dǎo)規(guī)律、預(yù)知未來，并非簡(jiǎn)單的統(tǒng)計(jì)分析

　　在信息化時(shí)代以前，人類就有典型的大數(shù)據(jù)應(yīng)用，如視覺美學(xué)總結(jié)的黃金分割(0.618)，社會(huì)學(xué)中的在特定時(shí)空范圍內(nèi)存在的“二八”理論。大數(shù)據(jù)應(yīng)用的本質(zhì)是推導(dǎo)規(guī)律、預(yù)知未來，并非簡(jiǎn)單的統(tǒng)計(jì)分析。在信息化時(shí)代，大數(shù)據(jù)極大依賴信息化及其應(yīng)用，開展大數(shù)據(jù)分析也必須應(yīng)用信息化方法與手段，符合信息化業(yè)務(wù)驅(qū)動(dòng)、目標(biāo)導(dǎo)向等原則，沒有目標(biāo)的大數(shù)據(jù)平臺(tái)建設(shè)或掛大數(shù)據(jù)“羊頭”不利于信息化建設(shè)和大數(shù)據(jù)應(yīng)用。

　　而互聯(lián)網(wǎng)大數(shù)據(jù)與企業(yè)大數(shù)據(jù)是有區(qū)別的，互聯(lián)網(wǎng)本質(zhì)是跨區(qū)域的信息化網(wǎng)絡(luò)基礎(chǔ)設(shè)施，其大量的內(nèi)容服務(wù)和居于互聯(lián)網(wǎng)社交軟件并不存在描述事物的過程即沒有對(duì)象模型，人們應(yīng)用互聯(lián)網(wǎng)留下了應(yīng)用記錄(大量的非結(jié)構(gòu)化數(shù)據(jù))，分析這些大數(shù)據(jù)記錄的前提是重新構(gòu)建記錄的對(duì)象，對(duì)記錄標(biāo)識(shí)特征。企業(yè)信息化一般經(jīng)過業(yè)務(wù)標(biāo)準(zhǔn)化和業(yè)務(wù)流程梳理過程，所以企業(yè)的大數(shù)據(jù)是存在對(duì)象描述，但企業(yè)應(yīng)用的困難是我們建設(shè)的系統(tǒng)在對(duì)象描述上不統(tǒng)一、對(duì)象上的記錄不完整。所以互聯(lián)網(wǎng)大數(shù)據(jù)與企業(yè)大數(shù)據(jù)應(yīng)用盡管原理與方法一致，但分析工作的重點(diǎn)是有區(qū)別的?；ヂ?lián)網(wǎng)公司在開展大數(shù)據(jù)分析的工具、技術(shù)方法不完全適用于企業(yè)，更不能把互聯(lián)網(wǎng)大數(shù)據(jù)的平臺(tái)建設(shè)當(dāng)做企業(yè)大數(shù)據(jù)應(yīng)用工作的全部。

　　區(qū)別好對(duì)象模型數(shù)據(jù)與記錄數(shù)據(jù)是大數(shù)據(jù)分析的基礎(chǔ)，盡管描述事物對(duì)象的數(shù)據(jù)也可以達(dá)到 PB級(jí)，如人類的基因圖譜、地球大氣層流動(dòng)模型、電網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)模型等，這些數(shù)據(jù)不是大數(shù)據(jù)，在這些對(duì)象模型上構(gòu)建軟件并記錄的業(yè)務(wù)變化是大數(shù)據(jù)。所以在大數(shù)據(jù)應(yīng)用方面存在兩類數(shù)據(jù)的預(yù)處理，一類是模型數(shù)據(jù)預(yù)處理，另一類是記錄數(shù)據(jù)預(yù)處理。模型層面的預(yù)處理本質(zhì)是信息化建設(shè)方案的科學(xué)性、合理性。記錄的完整性很大程度上也是取決于信息化方案，同時(shí)也取決于信息系統(tǒng)的應(yīng)用過程。一旦軟件上線，再作數(shù)據(jù)治理來解決模型之間的不一致性或?qū)τ涗浀亩巍澳Ｐ突奔庸な且环N方法論上的誤導(dǎo)，正確的方法應(yīng)該是依據(jù)企業(yè)架構(gòu)和行業(yè)解決方案完善信息化架構(gòu)，實(shí)現(xiàn)企業(yè)信息化架構(gòu)規(guī)范和引導(dǎo)下的信息系統(tǒng)建設(shè)和應(yīng)用，在企業(yè)層面統(tǒng)籌企業(yè)模型、統(tǒng)籌系統(tǒng)結(jié)構(gòu)和功能界面、統(tǒng)一業(yè)務(wù)系統(tǒng)應(yīng)用規(guī)范。企業(yè)的數(shù)據(jù)治理必須在建設(shè)方案中完成，系統(tǒng)建成系統(tǒng)后的數(shù)據(jù)治理是無效的，當(dāng)然在系統(tǒng)運(yùn)行過程中數(shù)據(jù)庫的技術(shù)數(shù)據(jù)治理是必須的。

　　大數(shù)據(jù)應(yīng)用在電網(wǎng)領(lǐng)域大有可為

　　在電網(wǎng)企業(yè)中，電量數(shù)據(jù)是一組典型的大數(shù)據(jù)。客戶和客戶的電表臺(tái)賬是電量數(shù)據(jù)的宿主對(duì)象，采集系統(tǒng)中對(duì)客戶和電表臺(tái)賬進(jìn)行建模，各用戶電表的時(shí)序記錄就是電量大數(shù)據(jù)。下面結(jié)合國網(wǎng)江蘇電力開展的負(fù)荷預(yù)測(cè)大數(shù)據(jù)應(yīng)用簡(jiǎn)述大數(shù)據(jù)應(yīng)用方法。

　　首先是數(shù)據(jù)預(yù)處理。對(duì)象模型的預(yù)處理，依托營配調(diào)一體化，建立客戶和電表臺(tái)賬與電網(wǎng)供電邏輯關(guān)系，構(gòu)建電網(wǎng)各電壓層級(jí)直至各臺(tái)區(qū)到用戶的關(guān)聯(lián)模型;記錄數(shù)據(jù)的預(yù)處理，對(duì)電量記錄電度值進(jìn)行年度節(jié)假日除權(quán)回原，去除電量的節(jié)假日因素，去除記錄奇點(diǎn)和內(nèi)插補(bǔ)全個(gè)別記錄缺點(diǎn)等。

　　其次是分行業(yè)回歸建立日電量與氣溫、濕度等因素用電模型，依據(jù)實(shí)時(shí)運(yùn)行方式累計(jì)各臺(tái)區(qū)日電量、日負(fù)荷，完成各區(qū)域、各電壓等級(jí)的電量和負(fù)荷預(yù)測(cè)模型的構(gòu)建，并構(gòu)建模型機(jī)器學(xué)習(xí)，保持模型的時(shí)效性。

　　最后，由大數(shù)據(jù)平臺(tái)給預(yù)測(cè)模型導(dǎo)入實(shí)時(shí)氣溫與前一時(shí)段的電量和負(fù)荷，實(shí)現(xiàn)短期、超短期的全網(wǎng)負(fù)荷預(yù)測(cè)。同樣原理，關(guān)聯(lián)宏觀GDP與電量指數(shù)，結(jié)合業(yè)擴(kuò)包裝量變化，實(shí)現(xiàn)中長(zhǎng)期負(fù)荷預(yù)測(cè)。

　　2015年 ,江蘇電網(wǎng)以全樣本的用戶每日實(shí)時(shí)采集用電數(shù)據(jù)，結(jié)合十多年用電、業(yè)擴(kuò)、氣象等歷史數(shù)據(jù)，建立起涵蓋全省各地區(qū)、分行業(yè)以及25萬專變用戶和40萬臺(tái)公用變壓器的包括溫度、濕度、節(jié)假日、周末等要素的多維度用電影響模型，模型包含的數(shù)據(jù)關(guān)聯(lián)關(guān)系超過110億項(xiàng)，開展負(fù)荷中長(zhǎng)期、短期、超短期預(yù)測(cè)工作，有效指導(dǎo)了生產(chǎn)工作。

　　此外，電量大數(shù)據(jù)的應(yīng)用在行業(yè)內(nèi)外還有大量的可應(yīng)用價(jià)值，如從用電設(shè)備節(jié)能潛力分析全社會(huì)節(jié)能潛力、大用戶用電特征分析行業(yè)產(chǎn)能利用情況、居民用戶家庭活動(dòng)特征等，大數(shù)據(jù)應(yīng)用在電網(wǎng)領(lǐng)域大有可為。