
為何大數(shù)據(jù)讓人開始懷疑人生
一年多前聽說了“大數(shù)據(jù)”這個詞,以為就是“數(shù)據(jù)大”的意思,隨著媒體不斷地曝光,以及今年阿爾法狗升級版橫掃當(dāng)今圍棋第一人年輕的柯潔之后,對“大數(shù)據(jù)”的好奇油然而生。
于是從書櫥里翻出來這本由舍恩伯格寫的“大數(shù)據(jù)時代”,不指望自己能夠讀懂讀通,但是讀總比不讀要強,遵循“開卷有益”的傳統(tǒng)吧。
今天讀的是引言部分。這本書號稱“一場生活、工作與思維的大變革”。本書開門見山地說明,大數(shù)據(jù)在變革公共衛(wèi)生,變革商業(yè)以及變革思維方面,已經(jīng)出現(xiàn)在我們的生活當(dāng)中了。大數(shù)據(jù)開啟時代轉(zhuǎn)型。
“大數(shù)據(jù)時代”舉了一個在流行疾病防控的例子。說谷歌公司通過5000萬條最頻繁檢索的詞條,與流行病流行傳播時期的數(shù)據(jù)進行了比較,通過分析人們搜索的記錄來判斷這些人是否患上了流感。
谷歌的研究人員去找到這些特定的檢索詞條,至于這些詞條是否必須是“咳嗽”“發(fā)熱藥物”不是關(guān)注重點,這同我們尋找事發(fā)原因的常用手法不同,他們關(guān)心的是這些特定檢索詞條的被使用頻率與流感在時間與空間上的傳播之間的聯(lián)系。
谷歌公司正好是一個其他公司都無法具備擁有的龐大數(shù)據(jù)源以及處理能力和統(tǒng)計技術(shù)的公司,他們找到了這45個檢索詞條組合,他們的預(yù)測結(jié)果的相關(guān)性高達(dá)97%,同疾控中心一樣也能判斷它從哪里傳播出來,關(guān)鍵是相當(dāng)及時,可比疾控中心早一兩周,這一兩周時間的金貴可想而知。
另一個是在商業(yè)運用的例子。一位計算機工程師在網(wǎng)上預(yù)訂機票,坐上飛機后,他發(fā)現(xiàn)他的左鄰右舍機票都比他訂的晚,卻比他便宜。
顛覆了他的“機票訂的愈早愈便宜”的概念。下了飛機后,他開發(fā)了一個預(yù)測機票價格的系統(tǒng)。這個系統(tǒng)不需要知道哪些因素導(dǎo)致了機票價格的波動。
比如“周六晚上不出門”之類的原因,比如季節(jié)性原因,比如還有很多座位沒賣掉的原因。這個系統(tǒng)只是通過其他航班的數(shù)據(jù)來預(yù)測未來機票價格的趨勢。
幫助消費者抓住最佳購買時機。它擁有每一條航線每一架飛機內(nèi)的每一個座位一年內(nèi)的綜合票價的記錄的數(shù)據(jù),海量的數(shù)據(jù)支持,為消費者節(jié)省了一大筆錢。
這些例子告訴我們都需要海量的數(shù)據(jù)支持以及存儲與處理能力,在五年前或十年前“這都是不可能的”,從這個角度講,我的理解大數(shù)據(jù)就是數(shù)據(jù)大。
大數(shù)據(jù)的意義并不僅在于此,它是有生命力的。通常數(shù)據(jù)使用之后就結(jié)束了他的使命,比如,飛機降落后,票價數(shù)據(jù)就沒有用了。
但它被收集起來,用于機票預(yù)測系統(tǒng)。死了的,沒用的數(shù)據(jù),可以被巧妙地用來激發(fā)新產(chǎn)品和新型服務(wù)。
可見只要你改變思維,了解數(shù)據(jù)的奧秘,而數(shù)據(jù)只為那些愿意聆聽的人所掌握。所以,大數(shù)據(jù)真正的含義,就是從那些從“靜止的,陳舊的”數(shù)據(jù)中獲得新的認(rèn)知,并創(chuàng)造出新價值。
從信息爆炸的二十世紀(jì)以來,隨著數(shù)據(jù)處理能力的爆發(fā)式增長,大數(shù)據(jù)時代的到來已經(jīng)無可回避。
大數(shù)據(jù)的核心是什么?作者告訴我們是預(yù)測。它有點類似人工智能(機器學(xué)習(xí)),在書中,預(yù)測被定義為把算法運用到海量的數(shù)據(jù)上來預(yù)測事情發(fā)生的可能性。
好吧,在之后的章節(jié)或許會解釋得更清楚。但從人機大戰(zhàn)的情況來看,阿爾法狗每一步棋的海量運算后都會給出一個勝率,自動找出一個最好的下法。
沒讀這本書前,我會把大數(shù)據(jù)與人工智能當(dāng)做兩個事情,現(xiàn)在看來人工智能只是大數(shù)據(jù)這頂王冠上的一顆明珠,二而一。
引言的最后一部分講的是“大數(shù)據(jù)是大挑戰(zhàn)”。大挑戰(zhàn),挑戰(zhàn)的是什么?我看就是挑戰(zhàn)我們過去的傳統(tǒng)思維,固有思維,只有變革思維才能適應(yīng)大數(shù)據(jù)時代的到來。
書中說到三個轉(zhuǎn)變,第一個轉(zhuǎn)變隨機采樣趨于死亡;第二個轉(zhuǎn)變數(shù)據(jù)之大追求精確度失去意義;第三個轉(zhuǎn)變不再熱衷尋找因果關(guān)系。
前兩個轉(zhuǎn)變依賴于高度發(fā)展的數(shù)據(jù)儲存能力與處理能力,我們尚能理解并主動地去適應(yīng),但第三個轉(zhuǎn)變卻想當(dāng)頭棒喝,我腦海里只有一個詞“第三只眼看世界”,已經(jīng)不是換角度看世界那么簡單了。
書中舉了兩個例子來說明,大數(shù)據(jù)只告訴我們“是什么”而不是“為什么”。比如機票的例子,你只要知道什么時候買最便宜,無須知道價格漲跌背后的原因;比如有幾百萬條醫(yī)療記錄顯示“橙汁+阿司匹林”的組合能治療癌癥,找出具體的藥理機制就沒有這種治療方法本身來得重要。
可怕就在于不必知道現(xiàn)象背后的原因,只要讓數(shù)據(jù)發(fā)聲。讓數(shù)據(jù)發(fā)聲,意味著數(shù)據(jù)成了主導(dǎo),然而我們不一定了解自己的數(shù)據(jù),即便有了數(shù)據(jù),有了數(shù)據(jù)商業(yè)資本,它還會讓我們陷入一種尋寶的游戲。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
AI 浪潮下的生存與進階: CDA數(shù)據(jù)分析師—開啟新時代職業(yè)生涯的鑰匙(深度研究報告、發(fā)展指導(dǎo)白皮書) 發(fā)布機構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04