不僅僅是機(jī)遇 細(xì)數(shù)大數(shù)據(jù)領(lǐng)域待解決問(wèn)題_數(shù)據(jù)分析師

大數(shù)據(jù)，現(xiàn)在已經(jīng)不僅僅是人們?nèi)粘９ぷ骱蜕町?dāng)中的必需品了，很多國(guó)家已經(jīng)開始將大數(shù)據(jù)技術(shù)和應(yīng)用上升到國(guó)家的戰(zhàn)略層面，在2012年3月，美國(guó)政府就宣布將大數(shù)據(jù)以及相關(guān)產(chǎn)業(yè)上升為國(guó)家戰(zhàn)略，很多行業(yè)包括軍事、能源等都被列入到了大數(shù)據(jù)應(yīng)用領(lǐng)域。

不僅僅是機(jī)遇 細(xì)數(shù)大數(shù)據(jù)領(lǐng)域待解決問(wèn)題

其實(shí)從上述內(nèi)容我們不難看出，大數(shù)據(jù)的誕生和發(fā)展帶給我們的不僅僅是機(jī)遇，同時(shí)在技術(shù)和應(yīng)用層面用戶也面臨著很多挑戰(zhàn)和困難，放眼國(guó)內(nèi)的大數(shù)據(jù)領(lǐng)域市場(chǎng)，有很多行業(yè)壓力擺在我們面前，本期我們就來(lái)說(shuō)說(shuō)國(guó)內(nèi)目前的大數(shù)據(jù)仍然面臨的幾大問(wèn)題。

數(shù)據(jù)來(lái)源良莠不齊

我們都知道，我國(guó)國(guó)內(nèi)的人口眾多，大數(shù)據(jù)給我們帶來(lái)的機(jī)遇和壓力都不小，作為一個(gè)新興領(lǐng)域，盡管大數(shù)據(jù)意味著大機(jī)遇，擁有巨大的應(yīng)用價(jià)值，但同時(shí)也遭遇工程技術(shù)、管理政策、人才培養(yǎng)、資金投入等諸多領(lǐng)域的大挑戰(zhàn)。只有解決這些基礎(chǔ)性的挑戰(zhàn)問(wèn)題，才能充分利用這個(gè)大機(jī)遇，讓大數(shù)據(jù)為企業(yè)為社會(huì)充分發(fā)揮的最大價(jià)值與貢獻(xiàn)。

豐富的數(shù)據(jù)源是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的前提。而我國(guó)數(shù)字化的數(shù)據(jù)資源總量遠(yuǎn)遠(yuǎn)低于美歐，每年新增數(shù)據(jù)量?jī)H為美國(guó)的7%，歐洲的12%，其中政府和制造業(yè)的數(shù)據(jù)資源積累遠(yuǎn)遠(yuǎn)落后于國(guó)外。

現(xiàn)在很多企業(yè)時(shí)時(shí)刻刻都在產(chǎn)生著大量數(shù)據(jù)，但這些數(shù)據(jù)如何歸集、提煉始終是一個(gè)困擾。而大數(shù)據(jù)技術(shù)的意義確實(shí)不在于掌握規(guī)模龐大的數(shù)據(jù)信息，而在于對(duì)這些數(shù)據(jù)進(jìn)行智能處理，從中分析和挖掘出有價(jià)值的信息，但前提是如何獲取大量有價(jià)值的數(shù)據(jù)。

大數(shù)據(jù)時(shí)代，我們需要更加全面的數(shù)據(jù)來(lái)提高分析預(yù)測(cè)的準(zhǔn)確度，因此我們就需要更多便捷、廉價(jià)、自動(dòng)的數(shù)據(jù)生產(chǎn)工具。除了我們?cè)诰W(wǎng)上使用的瀏覽器有意或者無(wú)意記載著個(gè)人的信息數(shù)據(jù)之外，手機(jī)、智能手表、智能手環(huán)等各種可穿戴設(shè)備也在無(wú)時(shí)無(wú)刻地產(chǎn)生著數(shù)據(jù)。

云計(jì)算平臺(tái)和大數(shù)據(jù)之間的相輔相成關(guān)系是現(xiàn)在IT業(yè)界所共識(shí)的，機(jī)等各種網(wǎng)絡(luò)入口以及無(wú)處不在的傳感器等，都會(huì)對(duì)個(gè)人數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、使用、分享，而這一切大都是在人們并不知曉的情況下發(fā)生。

數(shù)據(jù)分析模型建設(shè)困難

現(xiàn)在越來(lái)越多的用戶開始試圖用大數(shù)據(jù)分析技術(shù)來(lái)去解決很多問(wèn)題，但是大數(shù)據(jù)的大，一般人認(rèn)為指的是它數(shù)據(jù)規(guī)模的海量。隨著人類在數(shù)據(jù)記錄、獲取及傳輸方面的技術(shù)革命，造成了數(shù)據(jù)獲得的便捷與低成本。

大數(shù)據(jù)的真正價(jià)值不在于它的大，而在于它的全面：空間維度上的多角度、多層次信息的交叉復(fù)現(xiàn)；時(shí)間維度上的與人或社會(huì)有機(jī)體的活動(dòng)相關(guān)聯(lián)的信息的持續(xù)呈現(xiàn)。

要以低成本和可擴(kuò)展的方式處理大數(shù)據(jù)，這就需要對(duì)整個(gè)IT架構(gòu)進(jìn)行重構(gòu)，開發(fā)先進(jìn)的軟件平臺(tái)和算法。這方面，國(guó)外又一次走在我們前面。特別是近年來(lái)以開源模式發(fā)展起來(lái)的Hadoop等大數(shù)據(jù)處理軟件平臺(tái)，及其相關(guān)產(chǎn)業(yè)已經(jīng)在美國(guó)初步形成。

用戶使用權(quán)和隱私的平衡

很多人現(xiàn)在一說(shuō)到大數(shù)據(jù)就“談虎色變”，究其很重要的原因之一就是大數(shù)據(jù)挖掘和分析技術(shù)帶來(lái)的用戶隱私的泄露。有專業(yè)人士指出，中國(guó)人口居世界首位，但2010年中國(guó)新存儲(chǔ)的數(shù)據(jù)為250PB，僅為日本的60%和北美的7%。2012年中國(guó)的數(shù)據(jù)存儲(chǔ)量達(dá)到64EB，其中55%的數(shù)據(jù)需要一定程度的保護(hù)，然而目前只有不到一半的數(shù)據(jù)得到保護(hù)。

筆者在以前的文章當(dāng)中曾經(jīng)寫過(guò)，大數(shù)據(jù)技術(shù)其實(shí)是一把雙刃劍，我們?nèi)绾卧谕苿?dòng)數(shù)據(jù)全面開放、應(yīng)用和共享的同時(shí)有效地保護(hù)公民、企業(yè)隱私，逐步加強(qiáng)隱私立法，將是大數(shù)據(jù)時(shí)代的一個(gè)重大挑戰(zhàn)。

數(shù)據(jù)增值的關(guān)鍵在于整合，但自由整合的前提是數(shù)據(jù)的開放。在大數(shù)據(jù)的時(shí)代，開放數(shù)據(jù)的意義，不僅僅是滿足公民的知情權(quán)，更在于讓大數(shù)據(jù)時(shí)代最重要的生產(chǎn)資料、生活數(shù)據(jù)自由地流動(dòng)起來(lái)。

數(shù)據(jù)的管理難度

海量數(shù)據(jù)通過(guò)挖掘、收集、存儲(chǔ)、分析、最后被應(yīng)用在不同行業(yè)當(dāng)中，這當(dāng)中的眾多步驟在管理方面都是需要仔細(xì)計(jì)劃的。因?yàn)轱@而易見，大數(shù)據(jù)的用戶體驗(yàn)效果很有可能直接影響到企業(yè)以及個(gè)人用戶的一些決策。

大數(shù)據(jù)能夠真正發(fā)揮作用，深層次看，還要改善我們的管理模式，需要管理方式和架構(gòu)的與大數(shù)據(jù)技術(shù)工具相適配。大數(shù)據(jù)應(yīng)用領(lǐng)域仍窄小，應(yīng)用費(fèi)用過(guò)高，制約大數(shù)據(jù)應(yīng)用。國(guó)內(nèi)能利用大數(shù)據(jù)背后產(chǎn)業(yè)價(jià)值的行業(yè)主要集中在金融、電信、能源、證券、煙草等超大型行業(yè)。

編輯的話

大數(shù)據(jù)技術(shù)作為當(dāng)下最為火熱的IT話題，已經(jīng)開始在很多行業(yè)和企業(yè)當(dāng)中進(jìn)行了充分的應(yīng)用，放眼國(guó)外一些領(lǐng)先企業(yè)的大數(shù)據(jù)解決方案我們不難發(fā)現(xiàn)，和云計(jì)算、虛擬化等諸多技術(shù)之間的整合作用是十分重要的，所以在未來(lái)國(guó)內(nèi)的大數(shù)據(jù)市場(chǎng)發(fā)展當(dāng)中，利用云平臺(tái)的高擴(kuò)展性進(jìn)行靈活整合是我們需要關(guān)注的。