大數(shù)據(jù)處理應(yīng)遵循的原則_數(shù)據(jù)分析師培訓(xùn)

信息革命將人類帶入一個(gè)革命性的“大數(shù)據(jù)時(shí)代”，人們通過(guò)電腦網(wǎng)絡(luò)，利用數(shù)據(jù)分析、數(shù)據(jù)集成、數(shù)據(jù)設(shè)計(jì)、數(shù)據(jù)模型、數(shù)據(jù)決策和數(shù)據(jù)虛擬化等手段，針對(duì)具體的認(rèn)知對(duì)象，對(duì)反映其數(shù)量、性質(zhì)、結(jié)構(gòu)、功能、價(jià)值、前景等方面的數(shù)據(jù)，進(jìn)行全面的收集、整理、分析、綜觀和萃取，然后作為決策和實(shí)踐的根據(jù)。由此，使人類的認(rèn)識(shí)變得更精確系統(tǒng)、更全面廣泛、更快速有效。然而面對(duì)各種數(shù)據(jù)源收集來(lái)的海量數(shù)據(jù)，究竟如何對(duì)其進(jìn)行歸類、計(jì)算、建模和解釋，卻需要高超的智慧。因數(shù)據(jù)本身始終沉默，需要依賴能動(dòng)的認(rèn)識(shí)主體的賦予。為此，本文想就大數(shù)據(jù)處理應(yīng)遵循的幾條原則給予闡釋。

　　簡(jiǎn)約原則

　　這是牛頓創(chuàng)設(shè)的一條“極簡(jiǎn)主義”的節(jié)約規(guī)則。在牛頓看來(lái)，神奇的自然界在創(chuàng)設(shè)過(guò)程中選擇的簡(jiǎn)單性和對(duì)繁瑣的討厭，使得人類也形成如下觀念：“在用很少的東西就能夠解決問(wèn)題的情況下，決不勞力費(fèi)神和興師動(dòng)眾”;要始終體現(xiàn)大自然所遵循的簡(jiǎn)約性、精準(zhǔn)性、合理性與有效性。欲達(dá)此目的，就需要在云計(jì)算或大數(shù)據(jù)處理中，遵循簡(jiǎn)約原則，選擇有用數(shù)據(jù)，淘汰無(wú)用數(shù)據(jù);識(shí)別有代表性的本質(zhì)數(shù)據(jù)，去除細(xì)枝末節(jié)或無(wú)意義的非本質(zhì)數(shù)據(jù)。要能夠確識(shí)數(shù)據(jù)之間的巨大差距或差異;要能夠鑒別和挑出那些“以一當(dāng)十”的數(shù)據(jù)和信息。這種簡(jiǎn)約原則在大數(shù)據(jù)的收集、挖掘、算法和實(shí)施中的最有效途徑，就是對(duì)“數(shù)據(jù)規(guī)約”的運(yùn)用。所謂數(shù)據(jù)規(guī)約就是簡(jiǎn)化現(xiàn)有的數(shù)據(jù)集，使得一種小規(guī)模的數(shù)據(jù)就能夠產(chǎn)生同樣的分析效果。常用的數(shù)據(jù)規(guī)約策略有數(shù)據(jù)立方體聚集、維規(guī)約、數(shù)據(jù)壓縮、數(shù)值壓縮、離散化和概念分層等，而常用的數(shù)據(jù)規(guī)約方法則主要包含粗糙集、遺傳算法、主成分分析、逐步回歸分析、公共因素模型分析等。運(yùn)用這些規(guī)約方法，就可以獲取可靠數(shù)據(jù)，減少數(shù)據(jù)集規(guī)模，提高數(shù)據(jù)抽象程度，提升數(shù)據(jù)挖掘效率，使之在實(shí)際工作中，可以根據(jù)需要選用具體的分析數(shù)據(jù)和合適的處理方法，以達(dá)到操作上的簡(jiǎn)單、簡(jiǎn)潔、簡(jiǎn)約和高效。具體地說(shuō)，當(dāng)一位認(rèn)知主體面對(duì)收集到的大量數(shù)據(jù)和一些非結(jié)構(gòu)化的數(shù)據(jù)對(duì)象，如文檔、圖片、飾品等物件時(shí)，不僅需要掌握大數(shù)據(jù)管理、大數(shù)據(jù)集成的技術(shù)和方法，遵循“簡(jiǎn)約原則”和“數(shù)據(jù)集成原則”，學(xué)會(huì)數(shù)據(jù)的歸檔、分析、建模和元數(shù)據(jù)管理，還需要在大量數(shù)據(jù)激增的過(guò)程中，學(xué)會(huì)規(guī)約、選擇、評(píng)估和發(fā)現(xiàn)某些潛在的本質(zhì)性變化，包括對(duì)新課題、新項(xiàng)目的興趣和開(kāi)發(fā)。

　　綜觀原則

　　所謂綜觀，就是對(duì)認(rèn)知對(duì)象進(jìn)行綜合性的觀察、分析和探索;就是從總體上對(duì)認(rèn)識(shí)對(duì)象、認(rèn)識(shí)過(guò)程和認(rèn)識(shí)結(jié)果進(jìn)行抽象、概括或直覺(jué)，并通過(guò)具體的信息數(shù)據(jù)超越那涵蓋于總體性中的局部或個(gè)別。這種綜觀既針對(duì)構(gòu)成事物之個(gè)體的全部，也針對(duì)構(gòu)成事物的諸要素組成的統(tǒng)一體，以及總體上顯現(xiàn)的本質(zhì)和規(guī)律。綜觀較整體觀察更加辯證。它堅(jiān)持從大處著眼，從總體上去“觀其狀，求其法，探其道”，以求得解決問(wèn)題的策略和戰(zhàn)略。它堅(jiān)持整體的具體統(tǒng)一性，凸顯認(rèn)知對(duì)象的具體實(shí)在性。至于現(xiàn)實(shí)中，人們究竟如何對(duì)具體的認(rèn)知對(duì)象進(jìn)行綜觀，這里需要借助與綜觀緊密相關(guān)的大數(shù)據(jù)集合的理論與實(shí)踐。因?yàn)榇髷?shù)據(jù)集成，既包括對(duì)存貯在結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)中的數(shù)據(jù)進(jìn)行移動(dòng)和集成，也包括對(duì)一大部分非結(jié)構(gòu)化數(shù)據(jù)中的數(shù)據(jù)進(jìn)行移動(dòng)、調(diào)節(jié)和集成。比如面對(duì)復(fù)雜的信息和數(shù)據(jù)，人們就可以將“云架構(gòu)、實(shí)時(shí)數(shù)據(jù)集成、數(shù)據(jù)虛擬化、數(shù)據(jù)集成建?！钡认冗M(jìn)技術(shù)用到具體問(wèn)題的解決中，使用一種根據(jù)大數(shù)據(jù)制作的“可預(yù)測(cè)模型描述語(yǔ)言”(pmml)，為其提供一種快速簡(jiǎn)便的程序和模型。此時(shí)，通過(guò)使用標(biāo)準(zhǔn)的xml(可擴(kuò)展標(biāo)記語(yǔ)言)解析器對(duì)pmml進(jìn)行解析，應(yīng)用程序就能夠決定模型輸入和輸出的數(shù)據(jù)類型，及模型的詳細(xì)格式，并會(huì)按照標(biāo)準(zhǔn)的數(shù)據(jù)挖掘術(shù)語(yǔ)來(lái)解釋模型的結(jié)果。通過(guò)對(duì)大數(shù)據(jù)的綜觀、模型化和虛擬化，可以做到花最小氣力，獲最大效益。特別是數(shù)據(jù)虛擬化，不僅可以為數(shù)據(jù)使用者提供極具真實(shí)性、完整性和精準(zhǔn)性的“實(shí)時(shí)集成的數(shù)據(jù)視圖”，還可以將來(lái)自不同數(shù)源的數(shù)據(jù)信息整合為一，并轉(zhuǎn)化成使用者所需要的圖式和模型。因?yàn)橛行?duì)象，絕不是僅僅用數(shù)字就可以解釋和認(rèn)知的，比如人類復(fù)雜多變的面部表情，就很難用單純的數(shù)據(jù)給予精確表達(dá)，只有通過(guò)數(shù)據(jù)集成、智能技術(shù)和虛擬技術(shù)將大數(shù)據(jù)虛擬化，使反映認(rèn)知或?qū)嵺`對(duì)象的海量信息和數(shù)據(jù)，變成一種實(shí)時(shí)圖像或視頻供主體觀察研究，他們才可能從中獲得相關(guān)的認(rèn)識(shí)、結(jié)論和決策。

　　解釋原則

　　盡管數(shù)據(jù)集成、數(shù)據(jù)建模、云計(jì)算和數(shù)據(jù)虛擬化是大數(shù)據(jù)處理的一些主要形式，能夠給認(rèn)知主體以質(zhì)、量和度等多方面的總體性的形象和認(rèn)識(shí)，但面對(duì)“不能言語(yǔ)”的具體的數(shù)字、信息、圖像和虛擬視頻，還是需要認(rèn)知主體進(jìn)行能動(dòng)的和創(chuàng)造性的解讀與闡釋。這不只因?yàn)榘〝?shù)字、數(shù)碼、文字和一切符號(hào)在內(nèi)的語(yǔ)言“是存在的故鄉(xiāng)”，即要認(rèn)識(shí)客體或?qū)ο?，總是需要利用語(yǔ)言給予建構(gòu)、包裝、說(shuō)明和解釋，還因?yàn)橐磺姓Z(yǔ)言自身所擁有的價(jià)值和意義，也需要使用它和閱讀它的主體所“贈(zèng)予”。換句話說(shuō)，這些擺在人們面前的大數(shù)據(jù)，究竟表達(dá)什么或意味什么，很大程度上，并不取決于由數(shù)據(jù)信息自身所標(biāo)明的“客觀實(shí)在性”，而是主要取決于認(rèn)知主體對(duì)其解讀時(shí)所擁有的整體上的解釋力、構(gòu)建力和知解力，取決于由數(shù)據(jù)構(gòu)架起來(lái)的理論形態(tài)和實(shí)踐目的。因?yàn)橹挥型ㄟ^(guò)人的感悟、覺(jué)識(shí)、分析、推理、判斷和闡釋才能夠賦予數(shù)據(jù)和信息以多重的或異乎尋常的結(jié)構(gòu)和意義，才能夠由表及里，揭示出深藏于內(nèi)的隱蔽之物;進(jìn)而通過(guò)各種解釋之間的矛盾和沖突，獲悉被解釋的存在和本質(zhì)。

　　智慧原則

　　盡管信息革命將人類帶進(jìn)大數(shù)據(jù)的春天，而且使越來(lái)越多的人確信“數(shù)據(jù)多多益善，即數(shù)據(jù)越多，分析越深入，所得的結(jié)論就越全面”，但面對(duì)“僵死的數(shù)據(jù)”，要想點(diǎn)石成金，還需依賴于人的智慧和學(xué)識(shí)。為此，在大數(shù)據(jù)處理過(guò)程中，真正的智者既要兼具數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘以及數(shù)據(jù)統(tǒng)計(jì)的能力，也要具備應(yīng)用算法和編寫代碼的經(jīng)驗(yàn)。尤其是面對(duì)琳瑯滿目的大數(shù)據(jù)，不僅要關(guān)注海量數(shù)據(jù)的多樣性、差異性、精確性和實(shí)效性，否則缺少其中任何一個(gè)性能，都可能使所獲數(shù)據(jù)達(dá)不到預(yù)期的效果和目標(biāo);還要全面深入地挖掘各種類型的數(shù)據(jù)，并在此基礎(chǔ)上運(yùn)用數(shù)據(jù)建模和數(shù)據(jù)算法在不同的數(shù)據(jù)集成中分析不同的假設(shè)情境，建構(gòu)不同的可視化圖像，進(jìn)而揭示數(shù)據(jù)集成的變化及其產(chǎn)生的效用。特別是今天，面對(duì)激烈的社會(huì)競(jìng)爭(zhēng)，必須不斷尋找新的數(shù)據(jù)處理方法，不斷加快數(shù)據(jù)處理速度。要意識(shí)到各種數(shù)據(jù)都并非生而就有價(jià)值，只有通過(guò)主體智慧的挖掘，才能將其變?yōu)楝F(xiàn)實(shí)。

　　此外，還要善于從數(shù)據(jù)集成、數(shù)據(jù)建模和數(shù)據(jù)虛擬化中發(fā)現(xiàn)和解決問(wèn)題;提升自己觀察、思考、批判和揚(yáng)棄的能力;錘煉自己的理性思維和邏輯思維;培養(yǎng)自己統(tǒng)籌決策、高瞻遠(yuǎn)矚、見(jiàn)微知著的預(yù)見(jiàn)力和洞察力。當(dāng)然，在大數(shù)據(jù)時(shí)代更需要掌握對(duì)已有的數(shù)據(jù)模型進(jìn)行精練，以及利用新的訓(xùn)練數(shù)據(jù)對(duì)原有內(nèi)容和規(guī)則集進(jìn)行修改、操作和運(yùn)行的技藝。在此過(guò)程中，要盡可能做到思想活躍，思維清晰，頭腦開(kāi)放，認(rèn)識(shí)深遠(yuǎn)，能夠不失時(shí)機(jī)地打破陳規(guī)舊套，抓住新機(jī)遇，嘗試新途徑，開(kāi)辟新天地，以多元智能的理念來(lái)認(rèn)知和實(shí)踐，以便在大數(shù)據(jù)處理中，既不忽略任何一個(gè)未經(jīng)深度分析的數(shù)據(jù)，也不丟棄任何一個(gè)異常數(shù)據(jù)。在許多情況下，異常數(shù)據(jù)往往比常規(guī)數(shù)據(jù)更有價(jià)值。這樣，也就自然地要求認(rèn)知主體工作上縝密細(xì)心，時(shí)時(shí)關(guān)注事件的每一個(gè)細(xì)節(jié)與數(shù)據(jù)，真正做到明察秋毫、細(xì)心研制，直至收獲完美的認(rèn)識(shí)和成功的實(shí)踐。