
“互聯(lián)網(wǎng)+”熱的冷思考:大數(shù)據(jù)的“孤島困境”
隨著社交網(wǎng)絡(luò)、移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的興起,大數(shù)據(jù)越變越大,也帶來無限想象力和商業(yè)應(yīng)用價值,被認(rèn)為是驅(qū)動第四次工業(yè)革命的“新電力”。然而,在投資熱火朝天的同時,“新電力”也暗藏“觸電”的危險和“斷電”的無奈。
應(yīng)用火——大數(shù)據(jù)的商業(yè)應(yīng)用帶動一系列產(chǎn)業(yè)發(fā)展
大數(shù)據(jù)從哪里來?社交媒體的發(fā)展,包含可穿戴設(shè)備、傳感器、二維碼以及各種手機(jī)應(yīng)用在內(nèi)的移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和車聯(lián)網(wǎng)等新技術(shù)的發(fā)展,互聯(lián)網(wǎng)支付、位置服務(wù)等的出現(xiàn),都導(dǎo)致各種海量數(shù)據(jù)的生成,這就是大數(shù)據(jù)。
借助云計算、云存儲等高性能計算和存儲技術(shù),加上人工智能和機(jī)器學(xué)習(xí)算法,人們可以越來越方便地從數(shù)據(jù)中挖掘出有價值的信息。
大數(shù)據(jù)目前的應(yīng)用領(lǐng)域已非常廣泛。線上的大數(shù)據(jù),正越來越多地與工業(yè)、農(nóng)業(yè)、醫(yī)療、智慧城市等線下領(lǐng)域相結(jié)合,進(jìn)行實踐應(yīng)用。
大數(shù)據(jù)可為企業(yè)帶來良好效益。國內(nèi)一家可再生能源企業(yè)通過與微軟合作建設(shè)大數(shù)據(jù)系統(tǒng),應(yīng)用到全國各地1000余臺風(fēng)力發(fā)電機(jī)組和5000余臺光伏逆變器和匯流箱。通過大數(shù)據(jù)分析和機(jī)器學(xué)習(xí),這個系統(tǒng)將能夠?qū)崿F(xiàn)“防患于未然”的預(yù)防性維護(hù),將可再生能源生產(chǎn)效率提高1%—5%。一個50兆瓦的風(fēng)電場年發(fā)電量大約是1億千瓦時,如果能有2%的提升,僅電費每年就能多增加100多萬元。
小到個體健康,大數(shù)據(jù)也在發(fā)揮積極作用。糖尿病患者可穿戴血糖監(jiān)測儀,通過手機(jī)應(yīng)用將血糖與患者飲食、運動、藥物攝入等生活規(guī)律數(shù)據(jù)上傳到云計算中心,再用人工智能算法對患者的血糖變化規(guī)律進(jìn)行“診斷”,可以準(zhǔn)確告訴糖尿病患者何時可以 “一飽口?!庇植挥绊懮眢w健康。
中國傳媒大學(xué)新聞學(xué)院教授、騰云智庫專家沈浩博士認(rèn)為,大數(shù)據(jù)的商業(yè)應(yīng)用影響廣泛而深遠(yuǎn),會帶動一系列產(chǎn)業(yè)發(fā)展,加速技術(shù)創(chuàng)新,進(jìn)一步推進(jìn)智能人機(jī)交互、自動駕駛、智能醫(yī)療診斷、互聯(lián)網(wǎng)金融、智能無人機(jī)、機(jī)器人技術(shù)等相關(guān)領(lǐng)域和產(chǎn)業(yè)的快速推廣和普及。
聯(lián)通難——數(shù)據(jù)孤島亟待聯(lián)通,同時需避免新一輪重復(fù)建設(shè)
大數(shù)據(jù)正越來越大。以物聯(lián)網(wǎng)為例,據(jù)預(yù)測到2020年,各種傳感器、新型物聯(lián)網(wǎng)設(shè)備,再加上傳統(tǒng)桌面電腦、智能手機(jī)、平板電腦、網(wǎng)絡(luò)電視,以及各類可穿戴智能設(shè)備,將交織成一個由300億到500億臺設(shè)備組成的龐大網(wǎng)絡(luò)。
然而,尋找隱藏在大數(shù)據(jù)中的有效信息,對其加以統(tǒng)一管理、高效分析,并將其轉(zhuǎn)化為指導(dǎo)決策和行動的智能,進(jìn)而實現(xiàn)市場價值,卻面臨諸多挑戰(zhàn)。
從技術(shù)層面看,大數(shù)據(jù)的采集和分析是主要挑戰(zhàn)。微軟大中華區(qū)董事長兼CEO柯睿杰認(rèn)為,數(shù)據(jù)智能并非那么觸手可及。大數(shù)據(jù)來源眾多、數(shù)量巨大、形式各異,要從中獲得一目了然的信息,就需要真正高效、可靠的數(shù)據(jù)管理和分析平臺。
以基因測序領(lǐng)域為例,我國每年新增的基因組測序原始數(shù)據(jù)超過20PB(1PB相當(dāng)于100萬G),面臨著數(shù)據(jù)量大、數(shù)據(jù)處理流程長等技術(shù)挑戰(zhàn)。
從產(chǎn)業(yè)發(fā)展看,數(shù)據(jù)孤島是首要障礙。百度公司的大數(shù)據(jù)專家認(rèn)為,目前在大數(shù)據(jù)的采集、分析和應(yīng)用過程中,存在著行業(yè)鴻溝、數(shù)據(jù)孤島乃至數(shù)據(jù)丟失等問題。
比如傳統(tǒng)行業(yè)和新興行業(yè)有著完全不同的技術(shù)語言,而多樣的設(shè)備、各式各樣的應(yīng)用場景,造就了一個個企業(yè)和政府專業(yè)管理部門的數(shù)據(jù)孤島,難以看到企業(yè)運行的全貌、行業(yè)發(fā)展的趨勢,因此,這些片面的數(shù)據(jù)往往難以說服企業(yè)邁開轉(zhuǎn)型創(chuàng)新的步伐。
容易出現(xiàn)重復(fù)建設(shè)也是“大數(shù)據(jù)”熱下的現(xiàn)象。隨著大數(shù)據(jù)應(yīng)用的巨大潛力被廣泛認(rèn)知,各地紛紛出臺發(fā)展大數(shù)據(jù)產(chǎn)業(yè)的規(guī)劃,并相繼啟動數(shù)以億元計的投資。內(nèi)蒙古、貴州、陜西、吉林等地都在發(fā)力打造大數(shù)據(jù)中心和平臺,互聯(lián)網(wǎng)和電信行業(yè)巨頭公司也都加緊布局大型數(shù)據(jù)中心。
有專家指出,如今大數(shù)據(jù)應(yīng)用呈現(xiàn)出發(fā)展初級階段特征,處于“盲人摸象”階段。大數(shù)據(jù)中心的投建要根據(jù)應(yīng)用需求,做好頂層設(shè)計,積極謀劃并審慎推進(jìn),避免“一窩蜂”,從而造成重復(fù)投資與惡性競爭。
“大數(shù)據(jù)是一種社會公共資源,也應(yīng)該成為國家戰(zhàn)略?!鄙蚝普J(rèn)為,大數(shù)據(jù)中心的建設(shè)應(yīng)滿足和考慮網(wǎng)絡(luò)資源、自然環(huán)境、天然降溫和水電消耗、災(zāi)害備份、土地稅收等建設(shè)條件,以貴州、內(nèi)蒙古等為代表的省份,在一定程度上確實具有自然條件的先天優(yōu)勢。但在產(chǎn)業(yè)化、規(guī)?;⒓s化和市場化等方面,需要國家戰(zhàn)略層面的統(tǒng)一布局和支持,避免各地各自為政,形成新的數(shù)據(jù)孤島。
此外,大量的數(shù)據(jù)仍然掌握在個別企業(yè)和政府機(jī)構(gòu)中,如何既共享,又保證信息安全,更是挑戰(zhàn)。專家認(rèn)為,大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展離不開法律的護(hù)航,特別要明確數(shù)據(jù)開放共享的規(guī)則與底線。
比如,在出行領(lǐng)域,某些出行軟件每天有上千萬單的出行記錄,數(shù)百萬車輛的實時地理位置信息。某些電商有數(shù)萬個送貨員,每天有大量的貨物在流轉(zhuǎn),掌握著許多人的家庭住址。還有許多O2O領(lǐng)域擁有數(shù)百萬家商戶、送餐服務(wù)的地理位置信息等。這些大數(shù)據(jù)涉及千家萬戶的財產(chǎn)甚至是人身安全,一旦違背商業(yè)道德就可能觸及法律高壓線。
“整個大數(shù)據(jù)產(chǎn)業(yè)存在的問題,一個是數(shù)據(jù)交換問題,一個是商業(yè)規(guī)則問題。”神州數(shù)碼控股有限公司董事局主席郭為說,數(shù)據(jù)的屬性只有和它的應(yīng)用結(jié)合在一起才有價值,否則這個數(shù)據(jù)就沒有任何價值,所以未來數(shù)據(jù)交易和商業(yè)化運作的規(guī)則很重要。
突破口——打通企業(yè)間信息孤島,建立大數(shù)據(jù)安全保障機(jī)制
“互聯(lián)網(wǎng)+”創(chuàng)造了以技術(shù)創(chuàng)新推動傳統(tǒng)產(chǎn)業(yè)創(chuàng)新轉(zhuǎn)型的新機(jī)遇,大數(shù)據(jù)、云計算、人工智能等技術(shù)趨勢,將成為創(chuàng)新驅(qū)動發(fā)展的核心技術(shù)力量。
郭為認(rèn)為,大數(shù)據(jù)同一般互聯(lián)網(wǎng)的本質(zhì)差別,就在于它是和行業(yè)緊密結(jié)合在一起的。從某種意義上講,大數(shù)據(jù)是把互聯(lián)網(wǎng)從淺網(wǎng)向深網(wǎng)的一次推進(jìn),運用數(shù)據(jù)以及數(shù)據(jù)本身的技術(shù),演化成各種新的服務(wù),來促進(jìn)經(jīng)濟(jì)社會的發(fā)展。
如果說云計算打通的是數(shù)據(jù)孤島,在云計算之上的大數(shù)據(jù)打通的則是企業(yè)間的信息孤島。沈浩認(rèn)為,大數(shù)據(jù)已成為互聯(lián)網(wǎng)重要的資產(chǎn)和基本要素,加快大數(shù)據(jù)挖掘和網(wǎng)絡(luò)智能技術(shù)的發(fā)展、開放大數(shù)據(jù)將成為趨勢。
未來發(fā)展的“無限的計算能力”、“無限的數(shù)據(jù)”和人工智能相關(guān)技術(shù)突破將助推大數(shù)據(jù)在“互聯(lián)網(wǎng)+”上大顯身手, 幫助企業(yè)在“互聯(lián)網(wǎng)+”時代發(fā)掘數(shù)據(jù)智能,在數(shù)字化轉(zhuǎn)型中贏得先機(jī)。
在柯睿杰看來,實現(xiàn)每個家庭都有一臺電腦后,未來很可能每個企業(yè)都會擁有自己的大數(shù)據(jù)智能平臺。
中國的大數(shù)據(jù)才剛開始起步,盡管某些領(lǐng)域處于世界領(lǐng)先地位,但整體上和發(fā)達(dá)國家還存在較大差距,迫切需要建立大數(shù)據(jù)安全保障和開發(fā)利用機(jī)制,迎接大數(shù)據(jù)時代。
例如,我國無論是網(wǎng)民數(shù)量及其增速,還是網(wǎng)絡(luò)規(guī)模和應(yīng)用方式,都已經(jīng)進(jìn)入了信息化大國和網(wǎng)絡(luò)大國的行列。但是,長期以來,存在對數(shù)據(jù)的重視和應(yīng)用不足、信息化法律缺失、數(shù)據(jù)安全保障薄弱等問題,成為制約大數(shù)據(jù)發(fā)展的障礙和威脅信息安全的隱患。
郭為認(rèn)為,一方面要為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展提供良好的法律環(huán)境,進(jìn)一步明確數(shù)據(jù)信息主體、客體的權(quán)責(zé)邊界;另一方面也要形成良好的數(shù)據(jù)開發(fā)和使用氛圍,處理好安全和發(fā)展的關(guān)系,政府帶頭進(jìn)行數(shù)據(jù)開放和數(shù)據(jù)利用。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03