警惕“大數(shù)據(jù)傲慢”(1)_數(shù)據(jù)分析師考試

我們每天聽到“數(shù)據(jù)”一詞的頻率突然高起來，如“大數(shù)據(jù)”、“數(shù)據(jù)經(jīng)濟(jì)”和“政府?dāng)?shù)據(jù)公開”等，“數(shù)據(jù)”與現(xiàn)代社會(huì)、與大家的日常生活越來越息息相關(guān)。

　　從“數(shù)字”、“數(shù)值”到“數(shù)據(jù)”

　　沒有計(jì)算機(jī)和信息技術(shù)的年代里，“數(shù)據(jù)”更多的是“數(shù)字”或“數(shù)值”，至多也就是用于統(tǒng)計(jì)的“數(shù)字”或“數(shù)值”。計(jì)算機(jī)問世初期，信息技術(shù)有了“數(shù)值計(jì)算”和“數(shù)據(jù)處理”的差別，只不過，“數(shù)值”通常指連續(xù)變化的物理量；而“數(shù)據(jù)處理”處理的是離散的一組組“數(shù)字”而已，“數(shù)據(jù)”仍然停留在統(tǒng)計(jì)應(yīng)用的水平。

　　隨著計(jì)算機(jī)和信息技術(shù)的普及和發(fā)展，互聯(lián)網(wǎng)的普及特別是移動(dòng)互聯(lián)網(wǎng)的普及，“數(shù)據(jù)”有了更多的內(nèi)涵和更廣外延，“數(shù)據(jù)”不再限于“數(shù)字”或“數(shù)值”，只要是計(jì)算機(jī)可以處理，“數(shù)據(jù)”可以是文本、語音、圖形、圖片、視頻和更多其他的形式?！敖鹑跀?shù)據(jù)”包括但不限于銀行交易、證券交易、外匯牌價(jià)和交易、信貸、資信、金融趨勢等?！搬t(yī)療數(shù)據(jù)”包括但不限于病人癥狀、檢查結(jié)論、診斷、用藥、流行病、專家就診時(shí)間、醫(yī)療資源分布等?！敖逃龜?shù)據(jù)”包括但不限于適齡學(xué)生數(shù)、課程計(jì)劃、成績、教育質(zhì)量、升學(xué)、就業(yè)等等。各種數(shù)據(jù)，林林總總，不一而足。

　　曾記得，“數(shù)字化”風(fēng)靡一時(shí)?？茖W(xué)家香農(nóng)在上個(gè)世紀(jì)40年代就提出了采樣定理，即對一個(gè)連續(xù)函數(shù)，按給定間隔提取其值，就可以用一組離散的數(shù)字序列代表這個(gè)連續(xù)函數(shù)，這就是數(shù)字化的重要基礎(chǔ)?！皵?shù)字化”的另一個(gè)意思是“數(shù)字化標(biāo)示”，用一串?dāng)?shù)字來標(biāo)示一個(gè)客體?！皵?shù)字化”目標(biāo)是數(shù)字計(jì)算機(jī)可以處理模擬信號，也可以紀(jì)錄處理各種客體的“數(shù)字化標(biāo)示”，我們不能不說這是一場技術(shù)革命，只不過這個(gè)革命是一種工具（計(jì)算機(jī)）或過程（計(jì)算機(jī)處理）的革命。“數(shù)據(jù)”就不同了，“數(shù)據(jù)”是現(xiàn)在信息社會(huì)的一個(gè)新生兒，它像石油和礦石，是一種新的原材料，可以用來加工、產(chǎn)生價(jià)值；它像農(nóng)具和機(jī)器，是一種新的生產(chǎn)資料，可以提高生產(chǎn)的效率；它像高速路和機(jī)場，是一種新的基礎(chǔ)設(shè)施，投資和利用它可以改善經(jīng)濟(jì)和民生。

　　有創(chuàng)新企業(yè)的生產(chǎn)原材料就是“數(shù)據(jù)”，他們對這樣的原材料加工，生產(chǎn)去形形色色的“數(shù)據(jù)產(chǎn)品”，獲得受益，比如：加工過的病案數(shù)據(jù)對于醫(yī)藥企業(yè)，加工過的點(diǎn)評數(shù)據(jù)對于餐飲企業(yè)，加工過的人口流動(dòng)數(shù)據(jù)對于規(guī)劃部門。有些企業(yè)很好的利用了“數(shù)據(jù)”這種生產(chǎn)資料，通過收集分析用戶習(xí)慣“數(shù)據(jù)”，可以設(shè)計(jì)生產(chǎn)出更有人緣的產(chǎn)品，比如：世界知名的互聯(lián)網(wǎng)公司和手機(jī)公司都不斷在收集分析用戶使用習(xí)慣的“數(shù)據(jù)”，進(jìn)而改進(jìn)自己的產(chǎn)品，搜索服務(wù)提供商不停收集用戶的搜索關(guān)鍵詞，借以分析各種有價(jià)值的趨勢。也有不少地方開始關(guān)注對于“數(shù)據(jù)”基礎(chǔ)設(shè)施的投入，提高本地區(qū)的競爭力，

　　有企業(yè)家說，鼠標(biāo)嫁給水泥，誕生的寶寶叫數(shù)據(jù)經(jīng)濟(jì)。

　　“大數(shù)據(jù)”并不僅僅是因?yàn)椤皵?shù)據(jù)”量大

　　“大數(shù)據(jù)”極大的提升了“數(shù)據(jù)”一詞的使用頻率。多大是“大”？

　　其實(shí)歷史上“海量數(shù)據(jù)”被用過很長時(shí)間，“海量數(shù)據(jù)”也是在說“數(shù)據(jù)”的規(guī)模，“大數(shù)據(jù)”也包含“數(shù)據(jù)”的規(guī)模，不同的是：“大數(shù)據(jù)”不僅關(guān)乎規(guī)模，同時(shí)還涉及數(shù)據(jù)的多樣性和復(fù)雜性，最關(guān)鍵的是用傳統(tǒng)的理論和方法都無法高效處理。

　　曾幾何時(shí)，人民熟知的數(shù)據(jù)大小的單位，從位、K（千、10的3次方）、M（百萬、10的6次方）、G（十億、10的9次方）、到了T（兆、10的12次方）、P（千兆、10的15次方）、甚至E（百京、10的18次方）。《經(jīng)濟(jì)學(xué)人》期刊2010年2月出版的專輯“The data deluge（數(shù)據(jù)洪流）”中提到數(shù)據(jù)大小的單位E時(shí)，不少專業(yè)人士也得上網(wǎng)查查，E到底是多大？

　　“大數(shù)據(jù)”與“數(shù)據(jù)”或“傳統(tǒng)數(shù)據(jù)”有規(guī)模上的不同，同時(shí)在收集方式上，特別是分析方法上有著根本的差別。搜索服務(wù)提供商不停收集用戶搜索關(guān)鍵字，用于分析各種趨勢；社交網(wǎng)絡(luò)不停收集聊天主體，分析其中關(guān)鍵字和語義，判斷社會(huì)大眾心情；電商則通過售買數(shù)據(jù)解讀熱銷產(chǎn)品，這些和“傳統(tǒng)數(shù)據(jù)”或“小數(shù)據(jù)”的收集方式有明顯的差異?！皞鹘y(tǒng)數(shù)據(jù)”的分析方法主要是統(tǒng)計(jì)和數(shù)據(jù)挖掘?！按髷?shù)據(jù)”的加工與“傳統(tǒng)數(shù)據(jù)完全不同”：高度并發(fā)的數(shù)據(jù)采集、數(shù)據(jù)全集（而非抽樣）的處理、數(shù)據(jù)清洗等預(yù)處理，非結(jié)構(gòu)化數(shù)據(jù)的處理、語義分析、深度學(xué)習(xí)。正是由于采用了各種新的數(shù)據(jù)處理方法，“數(shù)據(jù)”才能成為“大數(shù)據(jù)”，“數(shù)據(jù)”才有價(jià)值，“數(shù)據(jù)”才能成為原材料、生產(chǎn)資料、基礎(chǔ)設(shè)施。