
從“大數(shù)據(jù)”到“智能數(shù)據(jù)” _數(shù)據(jù)分析師
大部分專家都相信可以從巨量的數(shù)據(jù)中找到寶石和金子。英國(guó)牛津大學(xué)曾對(duì)全球各行業(yè)工作者做過一份調(diào)查問卷,2/3受訪者認(rèn)為,使用數(shù)據(jù)和分析軟件可以使他們保持競(jìng)爭(zhēng)優(yōu)勢(shì)。問題是,這些金礦挖掘者今天如何從如此巨大的數(shù)據(jù)山里挖到金子?
從3V到4V
等著要發(fā)掘的金子,指的是用于記錄、存儲(chǔ)和分析大量的數(shù)據(jù),以及以合適的形式顯示該結(jié)果的大數(shù)據(jù) 新技術(shù)?,F(xiàn)在最被人們廣泛討論的話題是用戶購(gòu)物、搜索或網(wǎng)購(gòu)的數(shù)據(jù),或利用全球金融和通信網(wǎng)絡(luò)而產(chǎn)生的數(shù)據(jù)。還有銀行、電信和保險(xiǎn)業(yè)通過建立使用者信息與 交易記錄的分析模型,來增加利潤(rùn)和降低風(fēng)險(xiǎn)等等。大數(shù)據(jù)的時(shí)代,使我們能夠探索人類的行為,探索人類本身的奧秘,這在以前在很大程度上是不可能的。我們經(jīng) 常使用的工具和終端,幫助我們獲得和體驗(yàn)這方面的感受。
由于都想成為掘金者,從大數(shù)據(jù)挖掘價(jià)值,目前具有深入的分析、數(shù)學(xué)、統(tǒng)計(jì)、規(guī)劃技能的數(shù)據(jù)分析師正炙手可熱,已沒有足夠多的人才可滿足需求。美 國(guó)大型銀行和聯(lián)邦機(jī)構(gòu)正在越來越多地聘請(qǐng)首席數(shù)據(jù)官(CDO)和數(shù)據(jù)分析師,以促進(jìn)對(duì)于整個(gè)組織機(jī)構(gòu)中的所有功能數(shù)據(jù)的收集、分析、分發(fā)和應(yīng)用的戰(zhàn)略 思考。
大數(shù)據(jù)有所謂的3V特征:即大量化(Volume)、多樣化(Variety)和快速化(Velocity)。然而,光是大量的數(shù)據(jù)采 集是不夠的,這些數(shù)據(jù)本身還需要有較高價(jià)值,即增加第四個(gè)V:Value(價(jià)值),成為4V。而經(jīng)過大數(shù)據(jù)技術(shù)的處理(數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)處 理、數(shù)據(jù)顯示等)之后更會(huì)產(chǎn)生較高的價(jià)值。
用智能數(shù)據(jù)建立智能系統(tǒng)
啤酒+尿布是值得挖掘的數(shù)據(jù);而從工業(yè)設(shè)施、建筑物、能源系統(tǒng)和醫(yī)院產(chǎn)生的比特和字節(jié),含金量更高,更值得挖掘,因?yàn)樗鼈兛梢杂糜诮⑵鹬悄芟到y(tǒng),這些比特和字節(jié)就是智能數(shù)據(jù)。我們來談?wù)勚悄軘?shù)據(jù)如何建立起一個(gè)智能系統(tǒng)。
終端通過連接、把它們管道化,對(duì)人們帶來了極大的便利,大大提高了生產(chǎn)率。但是這些還不夠,還需要體現(xiàn)智能化,實(shí)現(xiàn)智能系統(tǒng)。現(xiàn)在我們經(jīng)常在提 到智能手機(jī)、智能電表、智能電網(wǎng)、智能家居、智慧城市等等,都是希望人們使用的設(shè)備和終端能夠根據(jù)人們的需要自動(dòng)編程,實(shí)現(xiàn)自動(dòng)化,盡量避免人工介入。
這樣一種智能化,需要具備兩個(gè)條件:首先是管道化(互聯(lián)網(wǎng)思維的核心是管道化思維),就是把所有的終端或節(jié)點(diǎn)全部連接起來,互相之間能夠有溝通(即發(fā)生交互作用);另一個(gè)是各個(gè)終端本身具備一個(gè)小電腦,即帶有處理器芯片,可以通過軟件處理和產(chǎn)生智能數(shù)據(jù)。有了這兩個(gè)基本條件,就可以體現(xiàn)出一定程度的智能。
以抽水馬桶為例。抽水馬桶是已經(jīng)管道化的馬桶,再加上上述第二個(gè)條件,就可以變成一個(gè)智能馬桶。具體可以這樣來實(shí)施:在馬桶里裝有一片微處理器 芯片和一片生化芯片(Lab-on-Chip,LOC),對(duì)人們的排泄物自動(dòng)提取和分析,然后把分析結(jié)果通過管道,如WiFi送到醫(yī)生那里,醫(yī)生把每天的 分析數(shù)據(jù)與事先存儲(chǔ)的數(shù)據(jù)進(jìn)行對(duì)比,給這位坐過這個(gè)馬桶的人發(fā)出營(yíng)養(yǎng)指標(biāo)提醒和生理指標(biāo)提醒,如果必要的話則寫處方,提醒他服用藥物或到醫(yī)院進(jìn)一步檢查。 另一方面,根據(jù)這個(gè)馬桶的軟件分析結(jié)果,會(huì)得出缺少哪種營(yíng)養(yǎng)的具體數(shù)據(jù),然后通過無線通信的管道傳送到超市,超市會(huì)根據(jù)這些數(shù)據(jù)選出合適的食品通過快遞服 務(wù)送達(dá)家中。
抽水馬桶還可以包含其他各種傳感器進(jìn)行管道連接,如每次使用自動(dòng)記錄用水量;如有漏水,自動(dòng)通知維修人員或物業(yè)管理處派人來檢修;如有堵塞,就會(huì)自動(dòng)通知管道維修人員來疏通;如水漕不進(jìn)水,也會(huì)自動(dòng)通知相關(guān)人員來處理等等,這些都會(huì)產(chǎn)生一定的數(shù)據(jù)量。
我們必須了解這些智能數(shù)據(jù)的量,以便正確地評(píng)估它;我們必須知道各種器件和設(shè)施是如何工作的,了解我們需要哪些傳感器和測(cè)量技術(shù)來獲得真正重要的智能數(shù)據(jù)。決定性的因素不一定是數(shù)據(jù)量大,而是有價(jià)值的內(nèi)容。
這樣的智能數(shù)據(jù)可以體現(xiàn)在各個(gè)領(lǐng)域。如對(duì)于一個(gè)大型燃?xì)廨啓C(jī),有幾百個(gè)傳感器每秒鐘在測(cè)量溫度、壓力、流量、氣體組成。如果人們很了解設(shè)施的物理特 性,因此知道如何正確地分析這些數(shù)據(jù),就可以給發(fā)電廠非常有用的建議,來提高電力的使用效率并減少污染。同樣的措施可以用于風(fēng)力發(fā)電、建筑物、鋼鐵廠和整 個(gè)城市。所有這些領(lǐng)域里,必須不僅收集數(shù)據(jù),而且還理解數(shù)據(jù)。處理的數(shù)據(jù)是智能數(shù)據(jù),得出的結(jié)論用于將企業(yè)或城市變得更智能。
適合于評(píng)估這些智能數(shù)據(jù)的算法還需要開發(fā)。這些算法可以幫助人們更好地節(jié)省能源、更好地有利于環(huán)境、更多地節(jié)省成本,以及使設(shè)備運(yùn)行得更可靠。
在未來,智能數(shù)據(jù)可以幫助我們了解一個(gè)智能系統(tǒng)每時(shí)每刻發(fā)生了什么,更能夠告訴我們?yōu)槭裁磿?huì)發(fā)生。甚至還可以告訴我們接下來會(huì)發(fā)生什么,以及我們應(yīng) 該如何應(yīng)對(duì)。智能數(shù)據(jù)將改變企業(yè)的商業(yè)模式。例如一家跨國(guó)公司可以設(shè)立一個(gè)全球維修中心,全球各個(gè)分部的工廠都設(shè)有大量傳感器并與網(wǎng)絡(luò)相連,只需要在這個(gè) 中心分析大量的遠(yuǎn)程智能數(shù)據(jù),就可以進(jìn)行遠(yuǎn)程診斷和處理,而不需要技術(shù)人員到現(xiàn)場(chǎng)。這樣的商業(yè)模式,對(duì)于火車、船舶、發(fā)電廠、醫(yī)療器械等等都是極其有用 的。例如,從一輛火車的運(yùn)行中得到的測(cè)量數(shù)據(jù),可以幫助火車駕駛者運(yùn)行的更平穩(wěn)、更節(jié)能。節(jié)省下來的資金,則可以在用戶和智能數(shù)據(jù)提供者兩者分成。這是雙 贏的局面,也是如何從數(shù)據(jù)山中掘金的一個(gè)很好例子。
大數(shù)據(jù)如何成為智能數(shù)據(jù)
數(shù)據(jù)只是大,并沒有太大意義,關(guān)鍵是如何最佳地挖掘高價(jià)值的數(shù)據(jù)、使用這些數(shù)據(jù),使這些數(shù)據(jù)成為智能數(shù)據(jù)。這有幾個(gè)方法:先評(píng)估數(shù)據(jù)的價(jià)值 和將會(huì)產(chǎn)生的價(jià)值;把數(shù)據(jù)和智能化相關(guān)聯(lián);把數(shù)據(jù)變成具有上下文意義的靈活的數(shù)據(jù)結(jié)構(gòu);隨著時(shí)間的推移,根據(jù)這些收集了的大量數(shù)據(jù),展現(xiàn)一幅絢麗多彩 的智能數(shù)據(jù)圖。到最后,也不會(huì)再去思考大數(shù)據(jù)與智能數(shù)據(jù)有何區(qū)別,因?yàn)樗械臄?shù)據(jù)都已經(jīng)成為智能數(shù)據(jù)。
西方2000多年前就已發(fā)明的管道化的馬桶開了物聯(lián)網(wǎng)的先河?;诨ヂ?lián)網(wǎng)的物聯(lián)網(wǎng)(IoT)的到來,預(yù)示了新的創(chuàng)新設(shè)備、新的網(wǎng)絡(luò)形態(tài)、新的商 業(yè)模式的不斷涌現(xiàn),也預(yù)示著智能數(shù)據(jù)的成千上百倍增長(zhǎng),智能化將體現(xiàn)在各種應(yīng)用中。如按照今天所理解的大數(shù)據(jù)概念,是不充分的,大數(shù)據(jù)必須從3V演變?yōu)?4V,大數(shù)據(jù)必須演變成智能數(shù)據(jù),整個(gè)家庭乃至整個(gè)城市也正在向智能化大步演進(jìn),才會(huì)有更多的掘金機(jī)會(huì)。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫(kù)操作中,誤刪數(shù)據(jù)、錯(cuò)改字段或誤執(zhí)行批量更新等問題時(shí)有發(fā)生。 ...
2025-07-14如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價(jià)值、驅(qū)動(dòng)決策的 ...
2025-07-14t檢驗(yàn)與Wilcoxon檢驗(yàn)的選擇:何時(shí)用t.test,何時(shí)用wilcox.test? t 檢驗(yàn)與 Wilcoxon 檢驗(yàn)的選擇:何時(shí)用 t.test,何時(shí)用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時(shí)代職業(yè)生涯的鑰匙(深度研究報(bào)告、發(fā)展指導(dǎo)白皮書) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07