
大數(shù)據(jù)正在改變你我_數(shù)據(jù)分析師
大數(shù)據(jù)、人工智能、云計算,這些原本聽起來離大眾生活非常遙遠(yuǎn)的IT專業(yè)術(shù)語,如今正實(shí)實(shí)在在地改變著人們的生活。到底什么是大數(shù)據(jù)?它以何種方式影響我們的生活?
大數(shù)據(jù)正在做什么
以開放、平等、參與的方式重構(gòu)商業(yè)模式和人的行為方式
如今,喜歡在互聯(lián)網(wǎng)上購買書籍的人會發(fā)現(xiàn),當(dāng)你搜索某一本書時,常常會同時在頁面上看到一個推薦書單,而你會驚奇地發(fā)現(xiàn),書單里羅列的,正是你感興趣的書籍。這并非書商的神機(jī)妙算,也并不借助于專家學(xué)者的推薦,隱藏在它背后的,只是一串串?dāng)?shù)據(jù)——海量的巨細(xì)無遺的大數(shù)據(jù)。這些數(shù)據(jù)記錄了過去若干年來,數(shù)以千萬計的人每一天的買書行為,以致它清楚地知道買這本書的人通常還會買哪些書。
通過這種大數(shù)據(jù)的洞察力建立的新的價值點(diǎn),亞馬遜在美國輕而易舉地?fù)敉肆怂麄兊膫鹘y(tǒng)競爭對手。在互聯(lián)網(wǎng)時代,像這樣以大數(shù)據(jù)驅(qū)動的行業(yè)變革非常之多,并正在悄然改變著我們的生活。
在教育領(lǐng)域,面對面的傳統(tǒng)授課方法正面臨著在線教育的沖擊,慕客課堂也正在構(gòu)建新的教育模式;在服務(wù)業(yè)領(lǐng)域,傳統(tǒng)的營銷方式正在被基于大數(shù)據(jù)的精準(zhǔn)、個性化的服務(wù)所取代。
大數(shù)據(jù)所做的,就是將其背后的人與人、信息與信息,信息與商品、人與商品連接起來,將人的需求同各種各樣的以信息為基礎(chǔ)的東西連接起來,以開放、平等、參與的方式在重構(gòu)商業(yè)模式和人的行為方式。
在這種新技術(shù)構(gòu)建的地基上,人們未來將可能借此探討一些驚人的課題,比如人的“意識數(shù)據(jù)化”——把人的意識放到網(wǎng)上,讓它在數(shù)據(jù)云里閱讀、學(xué)習(xí);再比如“人體工程”——借助當(dāng)下生物技術(shù)和信息科技,可以讓人的長相、智力、情感都順從自己的心意。
如果將傳統(tǒng)的生產(chǎn)工具比作小米加步槍的話,未來基于大數(shù)據(jù)的新生產(chǎn)工具無異于加農(nóng)炮。信息在未來將扮演極其重要的角色,這意味著人們需要調(diào)整視角,把數(shù)據(jù)這個最重要的資源,很好地用起來。當(dāng)一個市長以大數(shù)據(jù)的眼光看待一個城市,他可能讓城市從民生角度、經(jīng)濟(jì)角度、社會管理角度收集各種數(shù)據(jù),在此基礎(chǔ)上去了解城市的交通、醫(yī)療衛(wèi)生等各種相關(guān)事項(xiàng),發(fā)現(xiàn)哪里有問題,哪里可改善,應(yīng)該如何調(diào)整。
如何分析大數(shù)據(jù)
靠無數(shù)臺計算機(jī),通過數(shù)學(xué)模式將數(shù)據(jù)分解、合并直至得到結(jié)果
所謂大數(shù)據(jù),就是以前所未有的方式,在海量規(guī)模數(shù)據(jù)中尋找到新看法、新趨勢,然后構(gòu)建嶄新的價值。
過去,人們不曾獲得如此大規(guī)模的數(shù)據(jù),所以根本無法獲得如今大數(shù)據(jù)所能得出的結(jié)論和價值。如何分析海量數(shù)據(jù)呢?其實(shí),方法跟曹沖稱象差不多,一頭大象,一桿秤稱不了,同樣,一臺機(jī)器也無法處理海量的數(shù)據(jù)。
大數(shù)據(jù)處理不是靠一臺超級計算機(jī),而是靠無數(shù)臺計算機(jī),用函數(shù)式編程這樣的數(shù)據(jù)工具將其分解,再慢慢合并最后拿出結(jié)果。以搜索引擎為例,他們在做三件事——搜集數(shù)據(jù)、深度加工數(shù)據(jù)、將結(jié)果提供給用戶。每天,超過100萬臺計算機(jī)在運(yùn)行,處理的數(shù)據(jù)規(guī)模在P級別(千萬億字節(jié)),相當(dāng)于一份報紙60年所有文字圖片數(shù)據(jù)總和的1000倍以上。當(dāng)人們用關(guān)鍵詞搜索的時候,它消耗掉的電能,能幫你煮熱一杯咖啡。
大數(shù)據(jù)最厲害的地方,是開辟了嶄新的業(yè)務(wù)模式,就是數(shù)據(jù)化、智能化、互聯(lián)網(wǎng)化。要掌握這樣一種新的工具,就要以大數(shù)據(jù)為基礎(chǔ)看待處理和運(yùn)用數(shù)據(jù)的方式,這跟過去小數(shù)據(jù)的集合迥然不同——
第一,大數(shù)據(jù)強(qiáng)調(diào)全數(shù)據(jù)的觀念,而非小數(shù)據(jù)的隨機(jī)抽樣。小數(shù)據(jù),只要記住關(guān)鍵信息就行,大數(shù)據(jù)需要采集全部信息。第二,小數(shù)據(jù)強(qiáng)調(diào)精準(zhǔn),大數(shù)據(jù)強(qiáng)調(diào)大勢的把握和概率;第三,小數(shù)據(jù)關(guān)注因和果,大數(shù)據(jù)則關(guān)注關(guān)聯(lián)。比如一家網(wǎng)站向讀者推薦圖書時,不需要操心人們?yōu)楹钨I這本書,它所做的是采集所有買書人的數(shù)據(jù),然后用數(shù)學(xué)模型分析出買這本書的人購買其他書籍的概率。
物聯(lián)網(wǎng)、傳感器、機(jī)器人、三維打印、可穿戴設(shè)備,所有這些新興熱門技術(shù)的背后,都有大數(shù)據(jù)的支撐。大數(shù)據(jù)時代對生產(chǎn)關(guān)系的構(gòu)建,不亞于人們從農(nóng)業(yè)時代向工業(yè)時代的遷徙。
大數(shù)據(jù)的未來
人的情緒和想象力能否靠大數(shù)據(jù)模擬,依然未知
如果說大數(shù)據(jù)是一頂皇冠,皇冠上的明珠就是人工智能。
什么叫人工智能?怎么定義、衡量人工智能?以著名的圖靈測試為例——在墻后面,有一個人和一臺計算機(jī),如果人與之交流后,無法分辨出,哪個是人,哪個是計算機(jī),則可以認(rèn)為這臺計算機(jī)達(dá)到了人工智能的程度。可見,人工智能所關(guān)聯(lián)的,不僅是知識儲備,也涉及到模擬人類的情感、想象力和創(chuàng)造性。
人們不禁要問,如果有一天,大數(shù)據(jù)技術(shù)擁有了更高級的信息收集、分析、判斷能力,也掌握了人類的創(chuàng)造力、想象力和個人情感,那么作為萬物之靈的人類與人工智能機(jī)器的區(qū)別將如何體現(xiàn)?人類的特性會消失嗎?
事實(shí)上,這一天目前來看還太遙遠(yuǎn),即使是大數(shù)據(jù)也并不可能預(yù)測太久以后的未來。大腦作為人類各種思維的物質(zhì)基礎(chǔ),大腦皮質(zhì)更多負(fù)責(zé)理性思考,小腦則負(fù)責(zé)較原始的欲望和情緒。當(dāng)前,科學(xué)家對大腦皮質(zhì)的工作原理已經(jīng)研究得相當(dāng)深入,通過計算機(jī)系統(tǒng)的模擬,已經(jīng)初見成效。比如,計算機(jī)對視覺系統(tǒng)、聲音系統(tǒng)、文字符號為中心的語言系統(tǒng)的理解,已經(jīng)達(dá)到一定的高度。但截至目前,對負(fù)責(zé)個人情感等活動的小腦,大數(shù)據(jù)技術(shù)還沒有深入探索。
更何況,世界上本來就有相當(dāng)一部分問題無法用數(shù)學(xué)求解。如果無法用已掌握的數(shù)學(xué)工具分析、解釋,那么人們就無法用大數(shù)據(jù)去做這部分工作。所以,人的情緒、創(chuàng)造力、想象力在一定程度上也許會被解碼,但完全解碼的可能性現(xiàn)在看來依舊是個未知數(shù)。
在很多科幻作品里我們看到,具有人工智能的機(jī)器將來會統(tǒng)治人類。但我們其實(shí)不必太擔(dān)心,因?yàn)檎侨祟惖膭?chuàng)造力,在推動科技一步步向前走。我們也許應(yīng)當(dāng)以雙贏的觀念,來看待人類與智能機(jī)器的關(guān)系——互補(bǔ)、融合。到那時候,人工智能機(jī)器將幫助人類超越自身局限,使人們的力量更強(qiáng)大,成為我們無處不在的助理。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導(dǎo)向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10