
從數(shù)據(jù)到知性 大數(shù)據(jù)的生存進(jìn)化之路
這幾年,大數(shù)據(jù)突然成了商業(yè)社會(huì)上的弄潮兒。似乎,一夜之間,大數(shù)據(jù)就像明星一樣紅遍大江南北。以前,只有在數(shù)學(xué)、統(tǒng)計(jì)、計(jì)算機(jī)等專業(yè)領(lǐng)域談到的數(shù)據(jù),現(xiàn)在已經(jīng)“飛入尋常百姓家”。大數(shù)據(jù)的各種應(yīng)用、研究與實(shí)踐紛紛出現(xiàn),名之為大數(shù)據(jù)的公司也是雨后春筍般涌現(xiàn)。不過,對(duì)于普通人而言,用具體的例子可以更好地解釋它。
數(shù)據(jù)是信息的表達(dá),它的出現(xiàn)甚至比人更為久遠(yuǎn)。在“宇宙大爆炸”的研究過程中,美國物理學(xué)家伽莫夫于1946年正式提出大爆炸理論,認(rèn)為宇宙由大約140億年前發(fā)生的一次大爆炸形成。后來,哈勃通過望遠(yuǎn)鏡觀測(cè)到“紅移現(xiàn)象”——就是星系正在遠(yuǎn)離我們,表明宇宙正在膨脹。通過測(cè)量光譜中的特征譜線的位置,可以推算出其以前的位置。由此,我們可以推算出宇宙的大致年齡。宇宙中的每個(gè)物體都帶有信息,而信息會(huì)通過數(shù)據(jù)來表達(dá)。人類的智慧在于可以通過收集數(shù)據(jù)去認(rèn)識(shí)一切。假如數(shù)據(jù)在宇宙誕生時(shí)就隨之出現(xiàn),那么毫無疑問它的“年齡”比人類大得多。
《在科技想要什么》里,美國科技哲學(xué)家凱文·凱利就提出了“科技也是有生命力的”的觀點(diǎn)。他認(rèn)為,傳統(tǒng)上,人們只把植物、動(dòng)物、原生生物、真菌、原細(xì)菌、真細(xì)菌稱為生命。如果重新審視“生命”,那么科技或者技術(shù)可被稱為“第七種生命元素”。原因在于技術(shù)是生命的延伸,它的演進(jìn)與生命的進(jìn)化及其相似。那么依照這樣的觀點(diǎn),我們完全可以把數(shù)據(jù)稱為“第八種生命元素”。人每時(shí)每刻都會(huì)散發(fā)出信息,比如你的身體、你的行為甚至你的思想。通過工具,我們可以記錄下你每時(shí)每刻的呼吸、心跳等許多身體數(shù)據(jù),甚至連行為、思想也可以通過一些方法測(cè)量出來。在《智慧社會(huì)》里,美國的全球大數(shù)據(jù)權(quán)威阿萊克斯·彭特蘭通過社會(huì)計(jì)量標(biāo)牌來測(cè)量人們的行為。這個(gè)設(shè)備僅有卡片大小,配備了測(cè)量佩戴者運(yùn)動(dòng)的傳感器、捕捉聲音的麥克風(fēng)、檢測(cè)附近同類設(shè)備的藍(lán)牙,以及記錄面對(duì)面交流的紅外線傳感器。這個(gè)東西功能異常強(qiáng)大,比如在打撲克時(shí),這款設(shè)備10次有7次可以很準(zhǔn)確地判斷某人是否作弊;佩戴設(shè)備的人能夠在5分鐘內(nèi)預(yù)測(cè)談判中的贏家。
以前限于技術(shù)和發(fā)展程度的限制,人們對(duì)數(shù)據(jù)并不重視,也沒有認(rèn)識(shí)到數(shù)據(jù)的價(jià)值。但是現(xiàn)在通過技術(shù)手段,我們完全可以收集人類的一切數(shù)據(jù),并對(duì)數(shù)據(jù)進(jìn)行整理、分析和總結(jié),從中發(fā)現(xiàn)驅(qū)使人類行為的背后因素。也就是說,我們可以通過數(shù)據(jù)來觀察人類。
舉一個(gè)例子,就是谷歌流感搜索與預(yù)測(cè)系統(tǒng)。2009年出現(xiàn)了一種新的流感病毒——H1N1,迅速席卷全球。因?yàn)樗Y(jié)合了禽流感與豬流感的特點(diǎn),傳染力很強(qiáng),破壞力極大。更糟糕的是,目前還沒有對(duì)抗這種病毒的疫苗。美國政府要求醫(yī)生在發(fā)現(xiàn)新型流感病例時(shí)要及時(shí)告知疾控預(yù)防中心。然而從人們發(fā)現(xiàn)自己患病到醫(yī)院再到疾控中心,時(shí)間會(huì)拉長,然而短短的時(shí)間新型流感可能已經(jīng)爆發(fā)。這對(duì)政府、社會(huì)和國家來說,將會(huì)帶來巨大的損失。但是,谷歌卻比政府做得更好。谷歌公司把5000萬條美國人最頻繁檢索的詞條和美國疾控中心在2003年至2008年間季節(jié)性流感傳播時(shí)期的數(shù)據(jù)進(jìn)行了比較,他們希望通過人們的搜索記錄來判斷這些人是否患上了流感。他們的預(yù)測(cè)結(jié)果和官方數(shù)據(jù)的相關(guān)性達(dá)到97%。因此,2009年流感爆發(fā)的時(shí)候,谷歌成了一個(gè)很有效、很及時(shí)的指示標(biāo)。
Google的流感搜索與預(yù)測(cè)系統(tǒng)
現(xiàn)在,不管是企業(yè)還是公司,手里都有巨量的數(shù)據(jù)。用于企業(yè),海量的數(shù)據(jù)是企業(yè)未來的寶藏;用于社會(huì),海量的數(shù)據(jù)可以為人們提供更好的生活和公共服務(wù)。以美國為例,在2014年,美國國稅局通過一個(gè)名為“Get transcript”的工具將納稅人的信息數(shù)據(jù)加以共享,納稅人可以通過它獲得他們自己最近三年的納稅記錄。個(gè)人納稅者可以借此下載過去的納稅申報(bào)單,這使得居民進(jìn)行抵押、學(xué)生貸款、商務(wù)貸款等活動(dòng)與填寫納稅表變得更加便捷。
如今,大數(shù)據(jù)相比以前的簡(jiǎn)單數(shù)據(jù),有三個(gè)特點(diǎn):數(shù)量大、種類多、速度快。數(shù)量上,2011年新生成的和復(fù)制的信息量估計(jì)超過了1.8ZB(澤字節(jié));而在2013年這一數(shù)字估計(jì)超過4ZB。要知道,1ZB等于1021 個(gè)字節(jié),相當(dāng)于存儲(chǔ)323兆份列夫·托爾斯泰所著的1250頁的《戰(zhàn)爭(zhēng)與和平》所需的容量。種類上,從農(nóng)業(yè)生產(chǎn)到餐飲再到醫(yī)療保健,任何行業(yè)都會(huì)產(chǎn)生越來越多的數(shù)據(jù)。速度上,數(shù)據(jù)的產(chǎn)生更是以指數(shù)級(jí)增長,數(shù)據(jù)的產(chǎn)生和更新不斷加速。我們可以推知,數(shù)據(jù)的更迭會(huì)加速,就像人類的發(fā)展一樣。假如把幾百萬的歷史比作一小時(shí),那么人類的輝煌卻產(chǎn)生在最后幾分鐘。不得不驚嘆,信息、技術(shù)和數(shù)據(jù)的變化遠(yuǎn)遠(yuǎn)超出了人類。以百度為例,它有一個(gè)全國遷徙動(dòng)態(tài)地圖,隨時(shí)可從網(wǎng)上看到人們遷入和遷出的省份和城市。通過人們的手機(jī)搜索記錄,百度可知道人們現(xiàn)在的位置和要去的地方。所有的數(shù)據(jù)經(jīng)過收集和匯總,就能變成有價(jià)值的東西了。
百度的全國遷徙圖
北京地區(qū)人們的通勤圖
大數(shù)據(jù)到底會(huì)如何進(jìn)化?這是值得讓人深思的。原始的數(shù)據(jù)就是一些簡(jiǎn)單的數(shù)值、記號(hào)等,通過大量的收集相關(guān)數(shù)據(jù),并進(jìn)而分類,原始的數(shù)據(jù)就變成對(duì)人們有用的信息了。再通過對(duì)信息進(jìn)行整理、賦予內(nèi)涵,發(fā)現(xiàn)其中的規(guī)律性,就變成一種有用的知識(shí)了。有用的知識(shí)能夠?yàn)闉槿藗兲峁┮环N行動(dòng)方案,這樣知識(shí)就成為知性的。由此,我們可見一條清晰的數(shù)據(jù)生存進(jìn)化之路:“數(shù)據(jù)——信息——知識(shí)——知性”。如果說,以前,世界的原始動(dòng)力是上帝,那么,21世紀(jì),驅(qū)動(dòng)世界運(yùn)轉(zhuǎn)就是數(shù)據(jù)了。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03