不僅僅是機遇 細數(shù)大數(shù)據(jù)領域待解決問題_數(shù)據(jù)分析師

大數(shù)據(jù)，現(xiàn)在已經(jīng)不僅僅是人們?nèi)粘９ぷ骱蜕町斨械谋匦杵妨?，很多國家已?jīng)開始將大數(shù)據(jù)技術(shù)和應用上升到國家的戰(zhàn)略層面，在2012年3月，美國政府就宣布將大數(shù)據(jù)以及相關(guān)產(chǎn)業(yè)上升為國家戰(zhàn)略，很多行業(yè)包括軍事、能源等都被列入到了大數(shù)據(jù)應用領域。

不僅僅是機遇 細數(shù)大數(shù)據(jù)領域待解決問題

其實從上述內(nèi)容我們不難看出，大數(shù)據(jù)的誕生和發(fā)展帶給我們的不僅僅是機遇，同時在技術(shù)和應用層面用戶也面臨著很多挑戰(zhàn)和困難，放眼國內(nèi)的大數(shù)據(jù)領域市場，有很多行業(yè)壓力擺在我們面前，本期我們就來說說國內(nèi)目前的大數(shù)據(jù)仍然面臨的幾大問題。

數(shù)據(jù)來源良莠不齊

我們都知道，我國國內(nèi)的人口眾多，大數(shù)據(jù)給我們帶來的機遇和壓力都不小，作為一個新興領域，盡管大數(shù)據(jù)意味著大機遇，擁有巨大的應用價值，但同時也遭遇工程技術(shù)、管理政策、人才培養(yǎng)、資金投入等諸多領域的大挑戰(zhàn)。只有解決這些基礎性的挑戰(zhàn)問題，才能充分利用這個大機遇，讓大數(shù)據(jù)為企業(yè)為社會充分發(fā)揮的最大價值與貢獻。

豐富的數(shù)據(jù)源是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的前提。而我國數(shù)字化的數(shù)據(jù)資源總量遠遠低于美歐，每年新增數(shù)據(jù)量僅為美國的7%，歐洲的12%，其中政府和制造業(yè)的數(shù)據(jù)資源積累遠遠落后于國外。

現(xiàn)在很多企業(yè)時時刻刻都在產(chǎn)生著大量數(shù)據(jù)，但這些數(shù)據(jù)如何歸集、提煉始終是一個困擾。而大數(shù)據(jù)技術(shù)的意義確實不在于掌握規(guī)模龐大的數(shù)據(jù)信息，而在于對這些數(shù)據(jù)進行智能處理，從中分析和挖掘出有價值的信息，但前提是如何獲取大量有價值的數(shù)據(jù)。

大數(shù)據(jù)時代，我們需要更加全面的數(shù)據(jù)來提高分析預測的準確度，因此我們就需要更多便捷、廉價、自動的數(shù)據(jù)生產(chǎn)工具。除了我們在網(wǎng)上使用的瀏覽器有意或者無意記載著個人的信息數(shù)據(jù)之外，手機、智能手表、智能手環(huán)等各種可穿戴設備也在無時無刻地產(chǎn)生著數(shù)據(jù)。

云計算平臺和大數(shù)據(jù)之間的相輔相成關(guān)系是現(xiàn)在IT業(yè)界所共識的，機等各種網(wǎng)絡入口以及無處不在的傳感器等，都會對個人數(shù)據(jù)進行采集、存儲、使用、分享，而這一切大都是在人們并不知曉的情況下發(fā)生。

數(shù)據(jù)分析模型建設困難

現(xiàn)在越來越多的用戶開始試圖用大數(shù)據(jù)分析技術(shù)來去解決很多問題，但是大數(shù)據(jù)的大，一般人認為指的是它數(shù)據(jù)規(guī)模的海量。隨著人類在數(shù)據(jù)記錄、獲取及傳輸方面的技術(shù)革命，造成了數(shù)據(jù)獲得的便捷與低成本。

大數(shù)據(jù)的真正價值不在于它的大，而在于它的全面：空間維度上的多角度、多層次信息的交叉復現(xiàn)；時間維度上的與人或社會有機體的活動相關(guān)聯(lián)的信息的持續(xù)呈現(xiàn)。

要以低成本和可擴展的方式處理大數(shù)據(jù)，這就需要對整個IT架構(gòu)進行重構(gòu)，開發(fā)先進的軟件平臺和算法。這方面，國外又一次走在我們前面。特別是近年來以開源模式發(fā)展起來的Hadoop等大數(shù)據(jù)處理軟件平臺，及其相關(guān)產(chǎn)業(yè)已經(jīng)在美國初步形成。

用戶使用權(quán)和隱私的平衡

很多人現(xiàn)在一說到大數(shù)據(jù)就“談虎色變”，究其很重要的原因之一就是大數(shù)據(jù)挖掘和分析技術(shù)帶來的用戶隱私的泄露。有專業(yè)人士指出，中國人口居世界首位，但2010年中國新存儲的數(shù)據(jù)為250PB，僅為日本的60%和北美的7%。2012年中國的數(shù)據(jù)存儲量達到64EB，其中55%的數(shù)據(jù)需要一定程度的保護，然而目前只有不到一半的數(shù)據(jù)得到保護。

筆者在以前的文章當中曾經(jīng)寫過，大數(shù)據(jù)技術(shù)其實是一把雙刃劍，我們?nèi)绾卧谕苿訑?shù)據(jù)全面開放、應用和共享的同時有效地保護公民、企業(yè)隱私，逐步加強隱私立法，將是大數(shù)據(jù)時代的一個重大挑戰(zhàn)。

數(shù)據(jù)增值的關(guān)鍵在于整合，但自由整合的前提是數(shù)據(jù)的開放。在大數(shù)據(jù)的時代，開放數(shù)據(jù)的意義，不僅僅是滿足公民的知情權(quán)，更在于讓大數(shù)據(jù)時代最重要的生產(chǎn)資料、生活數(shù)據(jù)自由地流動起來。

數(shù)據(jù)的管理難度

海量數(shù)據(jù)通過挖掘、收集、存儲、分析、最后被應用在不同行業(yè)當中，這當中的眾多步驟在管理方面都是需要仔細計劃的。因為顯而易見，大數(shù)據(jù)的用戶體驗效果很有可能直接影響到企業(yè)以及個人用戶的一些決策。

大數(shù)據(jù)能夠真正發(fā)揮作用，深層次看，還要改善我們的管理模式，需要管理方式和架構(gòu)的與大數(shù)據(jù)技術(shù)工具相適配。大數(shù)據(jù)應用領域仍窄小，應用費用過高，制約大數(shù)據(jù)應用。國內(nèi)能利用大數(shù)據(jù)背后產(chǎn)業(yè)價值的行業(yè)主要集中在金融、電信、能源、證券、煙草等超大型行業(yè)。

編輯的話

大數(shù)據(jù)技術(shù)作為當下最為火熱的IT話題，已經(jīng)開始在很多行業(yè)和企業(yè)當中進行了充分的應用，放眼國外一些領先企業(yè)的大數(shù)據(jù)解決方案我們不難發(fā)現(xiàn)，和云計算、虛擬化等諸多技術(shù)之間的整合作用是十分重要的，所以在未來國內(nèi)的大數(shù)據(jù)市場發(fā)展當中，利用云平臺的高擴展性進行靈活整合是我們需要關(guān)注的。