細數大數據領域待解決4大問題_數據分析師

不僅僅是機遇 細數大數據領域待解決問題

　　其實從上述內容我們不難看出，大數據的誕生和發(fā)展帶給我們的不僅僅是機遇，同時在技術和應用層面用戶也面臨著很多挑戰(zhàn)和困難，放眼國內的大數據領域市場，有很多行業(yè)壓力擺在我們面前，本期我們就來說說國內目前的大數據仍然面臨的幾大問題。

數據來源良莠不齊

　 　我們都知道，我國國內的人口眾多，大數據給我們帶來的機遇和壓力都不小，作為一個新興領域，盡管大數據意味著大機遇，擁有巨大的應用價值，但同時也遭遇 工程技術、管理政策、人才培養(yǎng)、資金投入等諸多領域的大挑戰(zhàn)。只有解決這些基礎性的挑戰(zhàn)問題，才能充分利用這個大機遇，讓大數據為企業(yè)為社會充分發(fā)揮的最大價值與貢獻。

　　豐富的數據源是大數據產業(yè)發(fā)展的前提。而我國數字化的數據資源總量遠遠低于美歐，每年新增數據量僅為美國的7%，歐洲的12%，其中政府和制造業(yè)的數據資源積累遠遠落后于國外。

　　現在很多企業(yè)時時刻刻都在產生著大量數據，但這些數據如何歸集、提煉始終是一個困擾。而大數據技術的意義確實不在于掌握規(guī)模龐大的數據信息，而在于對這些數據進行智能處理，從中分析和挖掘出有價值的信息，但前提是如何獲取大量有價值的數據。

　　大數據時代，我們需要更加全面的數據來提高分析預測的準確度，因此我們就需要更多便捷、廉價、自動的數據生產工具。除了我們在網上使用的瀏覽器有意或者無意記載著個人的信息數據之外，手機、智能手表、智能手環(huán)等各種可穿戴設備也在無時無刻地產生著數據。

　　云計算平臺和大數據之間的相輔相成關系是現在IT業(yè)界所共識的，機等各種網絡入口以及無處不在的傳感器等，都會對個人數據進行采集、存儲、使用、分享，而這一切大都是在人們并不知曉的情況下發(fā)生。

數據分析模型建設困難

　　現在越來越多的用戶開始試圖用大數據分析技術來去解決很多問題，但是大數據的大，一般人認為指的是它數據規(guī)模的海量。隨著人類在數據記錄、獲取及傳輸方面的技術革命，造成了數據獲得的便捷與低成本。

　　大數據的真正價值不在于它的大，而在于它的全面：空間維度上的多角度、多層次信息的交叉復現；時間維度上的與人或社會有機體的活動相關聯的信息的持續(xù)呈現。

　　要以低成本和可擴展的方式處理大數據，這就需要對整個IT架構進行重構，開發(fā)先進的軟件平臺和算法。這方面，國外又一次走在我們前面。特別是近年來以開源模式發(fā)展起來的Hadoop等大數據處理軟件平臺，及其相關產業(yè)已經在美國初步形成。

用戶使用權和隱私的平衡

　 　很多人現在一說到大數據就“談虎色變”，究其很重要的原因之一就是大數據挖掘和分析技術帶來的用戶隱私的泄露。有專業(yè)人士指出，中國人口居世界首位，但 2010年中國新存儲的數據為250PB，僅為日本的60%和北美的7%。2012年中國的數據存儲量達到64EB，其中55%的數據需要一定程度的保 護，然而目前只有不到一半的數據得到保護。

　　筆者在以前的文章當中曾經寫過，大數據技術其實是一把雙刃劍，我們如何在推動數據全面開放、應用和共享的同時有效地保護公民、企業(yè)隱私，逐步加強隱私立法，將是大數據時代的一個重大挑戰(zhàn)。

　　數據增值的關鍵在于整合，但自由整合的前提是數據的開放。在大數據的時代，開放數據的意義，不僅僅是滿足公民的知情權，更在于讓大數據時代最重要的生產資料、生活數據自由地流動起來。

數據的管理難度

　　海量數據通過挖掘、收集、存儲、分析、最后被應用在不同行業(yè)當中，這當中的眾多步驟在管理方面都是需要仔細計劃的。因為顯而易見，大數據的用戶體驗效果很有可能直接影響到企業(yè)以及個人用戶的一些決策。

　　大數據能夠真正發(fā)揮作用，深層次看，還要改善我們的管理模式，需要管理方式和架構的與大數據技術工具相適配。大數據應用領域仍窄小，應用費用過高，制約大數據應用。國內能利用大數據背后產業(yè)價值的行業(yè)主要集中在金融、電信、能源、證券、煙草等超大型行業(yè)。

　　編輯的話

　 　大數據技術作為當下最為火熱的IT話題，已經開始在很多行業(yè)和企業(yè)當中進行了充分的應用，放眼國外一些領先企業(yè)的大數據解決方案我們不難發(fā)現，和云計 算、虛擬化等諸多技術之間的整合作用是十分重要的，所以在未來國內的大數據市場發(fā)展當中，利用云平臺的高擴展性進行靈活整合是我們需要關注的。