
我們無(wú)須更多的數(shù)據(jù)科學(xué)家 只須降低大數(shù)據(jù)使用門檻
這個(gè)國(guó)家急缺數(shù)據(jù)科學(xué)家”,目前幾乎所有關(guān)于大數(shù)據(jù)的文章都提出了這么一種觀點(diǎn)。廣受熱議的McKinsey公司2011年度調(diào)查指出許多機(jī)構(gòu)即缺少對(duì)大數(shù)據(jù)有深刻洞見和理解的人,也沒(méi)有運(yùn)用大數(shù)據(jù)來(lái)做出明智決斷并執(zhí)行的動(dòng)力。
然而在這些討論中有些東西似乎被忽視了,那就是如何打破瓶頸進(jìn)而使得大數(shù)據(jù)能夠直接為企業(yè)家們所用。我們?cè)?jīng)在軟件工業(yè)中做到過(guò)這一點(diǎn),我們能夠再次做到。
為了達(dá)成這個(gè)目標(biāo),透徹理解數(shù)據(jù)科學(xué)家在大數(shù)據(jù)中所扮演的角色是很重要的。目前,大數(shù)據(jù)是一個(gè)熔爐,分發(fā)著數(shù)據(jù)結(jié)構(gòu)以及類似Hadoop、NoSQL、Hive以及R這樣的工具。在這個(gè)技術(shù)含量非常高的環(huán)境中,數(shù)據(jù)科學(xué)家的工作就像是系統(tǒng)與那些來(lái)自不同領(lǐng)域?qū)<抑g的門衛(wèi)與調(diào)解人。
雖然有點(diǎn)難以概括,但基本上數(shù)據(jù)科學(xué)家發(fā)揮著三種作用:數(shù)據(jù)架構(gòu)、機(jī)器學(xué)習(xí)以及數(shù)據(jù)分析。雖然這些職責(zé)很重要,但事實(shí)上不是每個(gè)公司都需要一個(gè)像Google或者Facebook有的那種高度專業(yè)的數(shù)據(jù)團(tuán)隊(duì)。關(guān)于創(chuàng)造符合目標(biāo)產(chǎn)品以及剔除技術(shù)復(fù)雜性的解決方案可以使大數(shù)據(jù)為商家所用。
隨便舉個(gè)例子,想想發(fā)生在世紀(jì)之交的網(wǎng)絡(luò)內(nèi)容管理革命吧。網(wǎng)站成了一時(shí)的時(shí)尚,但是各領(lǐng)域?qū)<覀儏s遭遇了源源不斷的麻煩,因此我們有了一個(gè)瓶頸。所有網(wǎng)站上新的內(nèi)容都需要IT編輯去編排內(nèi)容甚至硬編碼。那最后又是怎么解決的呢?我們把網(wǎng)絡(luò)內(nèi)容管理系統(tǒng)中所需要的核心內(nèi)容概括并提取出來(lái),然后把它們做成不懂技術(shù)的人也會(huì)用的模式。
讓我們以電子商務(wù)為背景,稍微深挖掘一下現(xiàn)今的數(shù)據(jù)科學(xué)家所扮演的角色吧。
用數(shù)據(jù)架構(gòu)降低復(fù)雜性
縮小范圍是降低復(fù)雜性的關(guān)鍵。幾乎所有的電子商務(wù)業(yè)務(wù)都對(duì)獲取用戶行為感興趣——預(yù)約、購(gòu)買、線下交易以及社交數(shù)據(jù),幾乎以上每一項(xiàng)都有目錄及客戶檔案。
對(duì)這些基本功能限制范圍可以使我們創(chuàng)建標(biāo)準(zhǔn)數(shù)據(jù)錄入的模板,使得數(shù)據(jù)獲取及連通更為簡(jiǎn)單。我們也需要找到打包不同數(shù)據(jù)結(jié)構(gòu)與工具(現(xiàn)今包括Hadoop、Hbase、Hive、Pig、Cassandra and Mahout)的有意義的方法。這些數(shù)據(jù)包必須要符合目標(biāo)要求,歸結(jié)起來(lái)就是80/20法則:80%的大數(shù)據(jù)使用方法(所有電商業(yè)務(wù)需要的全部),可以用20%的努力和技術(shù)實(shí)現(xiàn)。
在機(jī)器學(xué)習(xí)上我們當(dāng)然需要數(shù)據(jù)科學(xué)家,對(duì)嗎?好吧,如果你有非常個(gè)性化的需求的話,或許對(duì)吧。但大部分需要用到大數(shù)據(jù)的標(biāo)準(zhǔn)需求,比如推薦引擎及個(gè)性化系統(tǒng),都可以被提取出來(lái)。舉例來(lái)說(shuō),數(shù)據(jù)科學(xué)家工作的一大塊內(nèi)容是制作“特征”,這是在數(shù)據(jù)錄入里面使得機(jī)器學(xué)習(xí)更有效率的一種東西。我們想一下,所有的數(shù)據(jù)科學(xué)家都要把數(shù)據(jù)塞進(jìn)機(jī)器并啟動(dòng)它們,那事實(shí)就是機(jī)器需要人們幫它們指出正確看待世界的方式。
然而,在每一個(gè)領(lǐng)域基礎(chǔ)上的特征創(chuàng)建都是可以被模板化的。例如每個(gè)商務(wù)網(wǎng)站都有購(gòu)買流以及用戶分割這些概念。如果各領(lǐng)域?qū)<覀兛梢灾苯影阉麄冊(cè)诟髯灶I(lǐng)域的想法和理念直接編碼到系統(tǒng)里呢,是不是就可以避開作為中間人及翻譯的科學(xué)家們了呢?
借用數(shù)據(jù)分析工具
從數(shù)據(jù)中自動(dòng)提取那些最有價(jià)值的信息從來(lái)都是不容易的。然而,有一些獲取特定領(lǐng)域觀點(diǎn)的辦法可以使商家們更像一個(gè)數(shù)據(jù)科學(xué)家去行動(dòng)。這似乎是最容易解決的一個(gè)問(wèn)題,因?yàn)槭忻嫔弦呀?jīng)有了各種領(lǐng)域的分析產(chǎn)品。
但這些產(chǎn)品目前對(duì)各領(lǐng)域?qū)<覀儊?lái)說(shuō)還是限制太多門檻太高。絕對(duì)還需要一個(gè)更加友好的界面。我們也需要將機(jī)器如何通過(guò)分析結(jié)果學(xué)習(xí)放入考慮的范疇。這是非常關(guān)鍵的一個(gè)反饋系統(tǒng),商家們希望把修正放進(jìn)這個(gè)系統(tǒng)中。這也是另一個(gè)可能提供模板化界面的地方。
就像我們?cè)趦?nèi)容管理系統(tǒng)中學(xué)到的那樣,這些方法不能夠在任何時(shí)間解決任何問(wèn)題。但將這些技術(shù)型解決方案運(yùn)用在一系列更廣泛的數(shù)據(jù)問(wèn)題上將會(huì)減輕數(shù)據(jù)科學(xué)家們?cè)庥龅钠款i。當(dāng)各行業(yè)專家能直接用機(jī)器學(xué)習(xí)系統(tǒng)工作時(shí),我們可能就進(jìn)入了一個(gè)能夠相互學(xué)習(xí)的嶄新的大數(shù)據(jù)時(shí)代。或許到那時(shí)候大數(shù)據(jù)能解決的問(wèn)題才會(huì)多于它所引起的問(wèn)題。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場(chǎng)景中,聚類分析作為 “無(wú)監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡(jiǎn)單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10