大數(shù)據(jù)處理應遵循的原則_數(shù)據(jù)分析師培訓

信息革命將人類帶入一個革命性的“大數(shù)據(jù)時代”，人們通過電腦網(wǎng)絡，利用數(shù)據(jù)分析、數(shù)據(jù)集成、數(shù)據(jù)設計、數(shù)據(jù)模型、數(shù)據(jù)決策和數(shù)據(jù)虛擬化等手段，針對具體的認知對象，對反映其數(shù)量、性質、結構、功能、價值、前景等方面的數(shù)據(jù)，進行全面的收集、整理、分析、綜觀和萃取，然后作為決策和實踐的根據(jù)。由此，使人類的認識變得更精確系統(tǒng)、更全面廣泛、更快速有效。然而面對各種數(shù)據(jù)源收集來的海量數(shù)據(jù)，究竟如何對其進行歸類、計算、建模和解釋，卻需要高超的智慧。因數(shù)據(jù)本身始終沉默，需要依賴能動的認識主體的賦予。為此，本文想就大數(shù)據(jù)處理應遵循的幾條原則給予闡釋。

　　簡約原則

　　這是牛頓創(chuàng)設的一條“極簡主義”的節(jié)約規(guī)則。在牛頓看來，神奇的自然界在創(chuàng)設過程中選擇的簡單性和對繁瑣的討厭，使得人類也形成如下觀念：“在用很少的東西就能夠解決問題的情況下，決不勞力費神和興師動眾”;要始終體現(xiàn)大自然所遵循的簡約性、精準性、合理性與有效性。欲達此目的，就需要在云計算或大數(shù)據(jù)處理中，遵循簡約原則，選擇有用數(shù)據(jù)，淘汰無用數(shù)據(jù);識別有代表性的本質數(shù)據(jù)，去除細枝末節(jié)或無意義的非本質數(shù)據(jù)。要能夠確識數(shù)據(jù)之間的巨大差距或差異;要能夠鑒別和挑出那些“以一當十”的數(shù)據(jù)和信息。這種簡約原則在大數(shù)據(jù)的收集、挖掘、算法和實施中的最有效途徑，就是對“數(shù)據(jù)規(guī)約”的運用。所謂數(shù)據(jù)規(guī)約就是簡化現(xiàn)有的數(shù)據(jù)集，使得一種小規(guī)模的數(shù)據(jù)就能夠產(chǎn)生同樣的分析效果。常用的數(shù)據(jù)規(guī)約策略有數(shù)據(jù)立方體聚集、維規(guī)約、數(shù)據(jù)壓縮、數(shù)值壓縮、離散化和概念分層等，而常用的數(shù)據(jù)規(guī)約方法則主要包含粗糙集、遺傳算法、主成分分析、逐步回歸分析、公共因素模型分析等。運用這些規(guī)約方法，就可以獲取可靠數(shù)據(jù)，減少數(shù)據(jù)集規(guī)模，提高數(shù)據(jù)抽象程度，提升數(shù)據(jù)挖掘效率，使之在實際工作中，可以根據(jù)需要選用具體的分析數(shù)據(jù)和合適的處理方法，以達到操作上的簡單、簡潔、簡約和高效。具體地說，當一位認知主體面對收集到的大量數(shù)據(jù)和一些非結構化的數(shù)據(jù)對象，如文檔、圖片、飾品等物件時，不僅需要掌握大數(shù)據(jù)管理、大數(shù)據(jù)集成的技術和方法，遵循“簡約原則”和“數(shù)據(jù)集成原則”，學會數(shù)據(jù)的歸檔、分析、建模和元數(shù)據(jù)管理，還需要在大量數(shù)據(jù)激增的過程中，學會規(guī)約、選擇、評估和發(fā)現(xiàn)某些潛在的本質性變化，包括對新課題、新項目的興趣和開發(fā)。

　　綜觀原則

　　所謂綜觀，就是對認知對象進行綜合性的觀察、分析和探索;就是從總體上對認識對象、認識過程和認識結果進行抽象、概括或直覺，并通過具體的信息數(shù)據(jù)超越那涵蓋于總體性中的局部或個別。這種綜觀既針對構成事物之個體的全部，也針對構成事物的諸要素組成的統(tǒng)一體，以及總體上顯現(xiàn)的本質和規(guī)律。綜觀較整體觀察更加辯證。它堅持從大處著眼，從總體上去“觀其狀，求其法，探其道”，以求得解決問題的策略和戰(zhàn)略。它堅持整體的具體統(tǒng)一性，凸顯認知對象的具體實在性。至于現(xiàn)實中，人們究竟如何對具體的認知對象進行綜觀，這里需要借助與綜觀緊密相關的大數(shù)據(jù)集合的理論與實踐。因為大數(shù)據(jù)集成，既包括對存貯在結構化數(shù)據(jù)結構中的數(shù)據(jù)進行移動和集成，也包括對一大部分非結構化數(shù)據(jù)中的數(shù)據(jù)進行移動、調(diào)節(jié)和集成。比如面對復雜的信息和數(shù)據(jù)，人們就可以將“云架構、實時數(shù)據(jù)集成、數(shù)據(jù)虛擬化、數(shù)據(jù)集成建模”等先進技術用到具體問題的解決中，使用一種根據(jù)大數(shù)據(jù)制作的“可預測模型描述語言”(pmml)，為其提供一種快速簡便的程序和模型。此時，通過使用標準的xml(可擴展標記語言)解析器對pmml進行解析，應用程序就能夠決定模型輸入和輸出的數(shù)據(jù)類型，及模型的詳細格式，并會按照標準的數(shù)據(jù)挖掘術語來解釋模型的結果。通過對大數(shù)據(jù)的綜觀、模型化和虛擬化，可以做到花最小氣力，獲最大效益。特別是數(shù)據(jù)虛擬化，不僅可以為數(shù)據(jù)使用者提供極具真實性、完整性和精準性的“實時集成的數(shù)據(jù)視圖”，還可以將來自不同數(shù)源的數(shù)據(jù)信息整合為一，并轉化成使用者所需要的圖式和模型。因為有些對象，絕不是僅僅用數(shù)字就可以解釋和認知的，比如人類復雜多變的面部表情，就很難用單純的數(shù)據(jù)給予精確表達，只有通過數(shù)據(jù)集成、智能技術和虛擬技術將大數(shù)據(jù)虛擬化，使反映認知或實踐對象的海量信息和數(shù)據(jù)，變成一種實時圖像或視頻供主體觀察研究，他們才可能從中獲得相關的認識、結論和決策。

　　解釋原則

　　盡管數(shù)據(jù)集成、數(shù)據(jù)建模、云計算和數(shù)據(jù)虛擬化是大數(shù)據(jù)處理的一些主要形式，能夠給認知主體以質、量和度等多方面的總體性的形象和認識，但面對“不能言語”的具體的數(shù)字、信息、圖像和虛擬視頻，還是需要認知主體進行能動的和創(chuàng)造性的解讀與闡釋。這不只因為包括數(shù)字、數(shù)碼、文字和一切符號在內(nèi)的語言“是存在的故鄉(xiāng)”，即要認識客體或對象，總是需要利用語言給予建構、包裝、說明和解釋，還因為一切語言自身所擁有的價值和意義，也需要使用它和閱讀它的主體所“贈予”。換句話說，這些擺在人們面前的大數(shù)據(jù)，究竟表達什么或意味什么，很大程度上，并不取決于由數(shù)據(jù)信息自身所標明的“客觀實在性”，而是主要取決于認知主體對其解讀時所擁有的整體上的解釋力、構建力和知解力，取決于由數(shù)據(jù)構架起來的理論形態(tài)和實踐目的。因為只有通過人的感悟、覺識、分析、推理、判斷和闡釋才能夠賦予數(shù)據(jù)和信息以多重的或異乎尋常的結構和意義，才能夠由表及里，揭示出深藏于內(nèi)的隱蔽之物;進而通過各種解釋之間的矛盾和沖突，獲悉被解釋的存在和本質。

　　智慧原則

　　盡管信息革命將人類帶進大數(shù)據(jù)的春天，而且使越來越多的人確信“數(shù)據(jù)多多益善，即數(shù)據(jù)越多，分析越深入，所得的結論就越全面”，但面對“僵死的數(shù)據(jù)”，要想點石成金，還需依賴于人的智慧和學識。為此，在大數(shù)據(jù)處理過程中，真正的智者既要兼具數(shù)據(jù)分析、機器學習、數(shù)據(jù)挖掘以及數(shù)據(jù)統(tǒng)計的能力，也要具備應用算法和編寫代碼的經(jīng)驗。尤其是面對琳瑯滿目的大數(shù)據(jù)，不僅要關注海量數(shù)據(jù)的多樣性、差異性、精確性和實效性，否則缺少其中任何一個性能，都可能使所獲數(shù)據(jù)達不到預期的效果和目標;還要全面深入地挖掘各種類型的數(shù)據(jù)，并在此基礎上運用數(shù)據(jù)建模和數(shù)據(jù)算法在不同的數(shù)據(jù)集成中分析不同的假設情境，建構不同的可視化圖像，進而揭示數(shù)據(jù)集成的變化及其產(chǎn)生的效用。特別是今天，面對激烈的社會競爭，必須不斷尋找新的數(shù)據(jù)處理方法，不斷加快數(shù)據(jù)處理速度。要意識到各種數(shù)據(jù)都并非生而就有價值，只有通過主體智慧的挖掘，才能將其變?yōu)楝F(xiàn)實。

　　此外，還要善于從數(shù)據(jù)集成、數(shù)據(jù)建模和數(shù)據(jù)虛擬化中發(fā)現(xiàn)和解決問題;提升自己觀察、思考、批判和揚棄的能力;錘煉自己的理性思維和邏輯思維;培養(yǎng)自己統(tǒng)籌決策、高瞻遠矚、見微知著的預見力和洞察力。當然，在大數(shù)據(jù)時代更需要掌握對已有的數(shù)據(jù)模型進行精練，以及利用新的訓練數(shù)據(jù)對原有內(nèi)容和規(guī)則集進行修改、操作和運行的技藝。在此過程中，要盡可能做到思想活躍，思維清晰，頭腦開放，認識深遠，能夠不失時機地打破陳規(guī)舊套，抓住新機遇，嘗試新途徑，開辟新天地，以多元智能的理念來認知和實踐，以便在大數(shù)據(jù)處理中，既不忽略任何一個未經(jīng)深度分析的數(shù)據(jù)，也不丟棄任何一個異常數(shù)據(jù)。在許多情況下，異常數(shù)據(jù)往往比常規(guī)數(shù)據(jù)更有價值。這樣，也就自然地要求認知主體工作上縝密細心，時時關注事件的每一個細節(jié)與數(shù)據(jù)，真正做到明察秋毫、細心研制，直至收獲完美的認識和成功的實踐。