
分析:做數(shù)據(jù)挖掘工作需要具備哪些思維原理?
1、數(shù)據(jù)核心原理從“流程”核心轉(zhuǎn)變?yōu)椤皵?shù)據(jù)”核心
大數(shù)據(jù)時(shí)代,計(jì)算模式也發(fā)生了轉(zhuǎn)變,從“流程”核心轉(zhuǎn)變?yōu)椤皵?shù)據(jù)”核心。Hadoop體系的分布式計(jì)算框架已經(jīng)是“數(shù)據(jù)”為核心的范式。非結(jié)構(gòu)化數(shù)據(jù)及分析需求,將改變IT系統(tǒng)的升級(jí)方式:從簡單增量到架構(gòu)變化。
大數(shù)據(jù)下的新思維——計(jì)算模式的轉(zhuǎn)變。
例如:IBM將使用以數(shù)據(jù)為中心的設(shè)計(jì),目的是降低在超級(jí)計(jì)算機(jī)之間進(jìn)行大量數(shù)據(jù)交換的必要性。大數(shù)據(jù)下,云計(jì)算找到了破繭重生的機(jī)會(huì),在存儲(chǔ)和計(jì)算上都體現(xiàn)了數(shù)據(jù)為核心的理念。大數(shù)據(jù)和云計(jì)算的關(guān)系:云計(jì)算為大數(shù)據(jù)提供了有力的工具和途徑,大數(shù)據(jù)為云計(jì)算提供了很有價(jià)值的用武之地。而大數(shù)據(jù)比云計(jì)算更為落地,可有效利用已大量建設(shè)的云計(jì)算資源,最后加以利用.
說明:用數(shù)據(jù)核心思維方式思考問題,解決問題。以數(shù)據(jù)為核心,反映了當(dāng)下IT產(chǎn)業(yè)的變革,數(shù)據(jù)成為人工智能的基礎(chǔ),也成為智能化的基礎(chǔ),數(shù)據(jù)比流程更重要,數(shù)據(jù)庫、記錄數(shù)據(jù)庫,都可開發(fā)出深層次信息。云計(jì)算機(jī)可以從數(shù)據(jù)庫、記錄數(shù)據(jù)庫中搜索出你是誰,你需要什么,從而推薦給你需要的信息。
2、數(shù)據(jù)價(jià)值原理由功能式價(jià)值轉(zhuǎn)變?yōu)閿?shù)據(jù)式價(jià)值
大數(shù)據(jù)真正有意思的是數(shù)據(jù)變得在線了,這個(gè)恰恰是互聯(lián)網(wǎng)的特點(diǎn)。非互聯(lián)網(wǎng)時(shí)期的產(chǎn)品,功能一定是它的價(jià)值,今天互聯(lián)網(wǎng)的產(chǎn)品,數(shù)據(jù)一定是它的價(jià)值。例如:大數(shù)據(jù)的真正價(jià)值在于創(chuàng)造,在于填補(bǔ)無數(shù)個(gè)還未實(shí)現(xiàn)過的空白。有人把數(shù)據(jù)比喻為蘊(yùn)藏能量的煤礦,煤炭按照性質(zhì)有焦煤、無煙煤、肥煤、貧煤等分類,而露天煤礦、深山煤礦的挖掘成本又不一樣。
與此類似,大數(shù)據(jù)并不在“大”,而在于“有用”,價(jià)值含量、挖掘成本比數(shù)量更為重要。不管大數(shù)據(jù)的核心價(jià)值是不是預(yù)測,但是基于大數(shù)據(jù)形成決策的模式已經(jīng)為不少的企業(yè)帶來了盈利和聲譽(yù)。
美國有一家創(chuàng)新企業(yè)Decide.com,它可以幫助人們做購買決策,告訴消費(fèi)者什么時(shí)候買什么產(chǎn)品,什么時(shí)候買最便宜,預(yù)測產(chǎn)品的價(jià)格趨勢,這家公司背后的驅(qū)動(dòng)力就是大數(shù)據(jù)。他們在全球各大網(wǎng)站上搜集數(shù)以十億計(jì)的數(shù)據(jù),然后幫助數(shù)以十萬計(jì)的用戶省錢,為他們的采購找到最好的時(shí)間,降低交易成本,為終端的消費(fèi)者帶去更多價(jià)值。
在這類模式下,盡管一些零售商的利潤會(huì)進(jìn)一步受擠壓,但從商業(yè)本質(zhì)上來講,可以把錢更多地放回到消費(fèi)者的口袋里,讓購物變得更理性,這是依靠大數(shù)據(jù)催生出的一項(xiàng)全新產(chǎn)業(yè)。這家為數(shù)以十萬計(jì)的客戶省錢的公司,在幾個(gè)星期前,被eBay以高價(jià)收購。
SWIFT是全球最大的支付平臺(tái),在該平臺(tái)上的每一筆交易都可以進(jìn)行大數(shù)據(jù)的分析,他們可以預(yù)測一個(gè)經(jīng)濟(jì)體的健康性和增長性。比如,該公司現(xiàn)在為全球性客戶提供經(jīng)濟(jì)指數(shù),這又是一個(gè)大數(shù)據(jù)服務(wù)。,定制化服務(wù)的關(guān)鍵是數(shù)據(jù)?!洞髷?shù)據(jù)時(shí)代》的作者維克托·邁爾·舍恩伯格認(rèn)為,大量的數(shù)據(jù)能夠讓傳統(tǒng)行業(yè)更好地了解客戶需求,提供個(gè)性化的服務(wù)。
說明:用數(shù)據(jù)價(jià)值思維方式思考問題,解決問題。信息總量的變化導(dǎo)致了信息形態(tài)的變化,量變引發(fā)了質(zhì)變,最先經(jīng)歷信息爆炸的學(xué)科,如天文學(xué)和基因?qū)W,創(chuàng)造出了“大數(shù)據(jù)”這個(gè)概念。如今,這個(gè)概念幾乎應(yīng)用到了所有人類致力于發(fā)展的領(lǐng)域中。從功能為價(jià)值轉(zhuǎn)變?yōu)閿?shù)據(jù)為價(jià)值,說明數(shù)據(jù)和大數(shù)據(jù)的價(jià)值在擴(kuò)大,數(shù)據(jù)為“王”的時(shí)代出現(xiàn)了。數(shù)據(jù)被解釋是信息,信息常識(shí)化是知識(shí),所以說數(shù)據(jù)解釋、數(shù)據(jù)分析能產(chǎn)生價(jià)值。
3、全樣本原理從抽樣轉(zhuǎn)變?yōu)樾枰繑?shù)據(jù)樣本
需要全部數(shù)據(jù)樣本而不是抽樣,你不知道的事情比你知道的事情更重要,但如果現(xiàn)在數(shù)據(jù)足夠多,它會(huì)讓人能夠看得見、摸得著規(guī)律。數(shù)據(jù)這么大、這么多,所以人們覺得有足夠的能力把握未來,對不確定狀態(tài)的一種判斷,從而做出自己的決定。這些東西我們聽起來都是非常原始的,但是實(shí)際上背后的思維方式,和我們今天所講的大數(shù)據(jù)是非常像的。
舉例:在大數(shù)據(jù)時(shí)代,無論是商家還是信息的搜集者,會(huì)比我們自己更知道你可能會(huì)想干什么?,F(xiàn)在的數(shù)據(jù)還沒有被真正挖掘,如果真正挖掘的話,通過信用卡消費(fèi)的記錄,可以成功預(yù)測未來5年內(nèi)的情況。統(tǒng)計(jì)學(xué)里頭最基本的一個(gè)概念就是,全部樣本才能找出規(guī)律。為什么能夠找出行為規(guī)律?一個(gè)更深層的概念是人和人是一樣的,如果是一個(gè)人特例出來,可能很有個(gè)性,但當(dāng)人口樣本數(shù)量足夠大時(shí),就會(huì)發(fā)現(xiàn)其實(shí)每個(gè)人都是一模一樣的。
說明:用全數(shù)據(jù)樣本思維方式思考問題,解決問題。從抽樣中得到的結(jié)論總是有水分的,而全部樣本中得到的結(jié)論水分就很少,大數(shù)據(jù)越大,真實(shí)性也就越大,因?yàn)榇髷?shù)據(jù)包含了全部的信息。
4、關(guān)注效率原理由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率
關(guān)注效率而不是精確度,大數(shù)據(jù)標(biāo)志著人類在尋求量化和認(rèn)識(shí)世界的道路上前進(jìn)了一大步,過去不可計(jì)量、存儲(chǔ)、分析和共享的很多東西都被數(shù)據(jù)化了,擁有大量的數(shù)據(jù)和更多不那么精確的數(shù)據(jù)為我們理解世界打開了一扇新的大門。大數(shù)據(jù)能提高生產(chǎn)效率和銷售效率,原因是大數(shù)據(jù)能夠讓我們知道市場的需要,人的消費(fèi)需要。
大數(shù)據(jù)讓企業(yè)的決策更科學(xué),由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率的提高,大數(shù)據(jù)分析能提高企業(yè)的效率。
例如:在互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代,企業(yè)產(chǎn)品迭代的速度在加快。三星、小米手機(jī)制造商半年就推出一代新智能手機(jī)。利用互聯(lián)網(wǎng)、大數(shù)據(jù)提高企業(yè)效率的趨勢下,快速就是效率、預(yù)測就是效率、預(yù)見就是效率、變革就是效率、創(chuàng)新就是效率、應(yīng)用就是效率。
競爭是企業(yè)的動(dòng)力,而效率是企業(yè)的生命,效率低與效率高是衡量企來成敗的關(guān)鍵。一般來講,投入與產(chǎn)出比是效率,追求高效率也就是追求高價(jià)值。手工、機(jī)器、自動(dòng)機(jī)器、智能機(jī)器之間效率是不同的,智能機(jī)器效率更高,已能代替人的思維勞動(dòng)。智能機(jī)器核心是大數(shù)據(jù)制動(dòng),而大數(shù)據(jù)制動(dòng)的速度更快。在快速變化的市場,快速預(yù)測、快速?zèng)Q策、快速創(chuàng)新、快速定制、快速生產(chǎn)、快速上市成為企業(yè)行動(dòng)的準(zhǔn)則,也就是說,速度就是價(jià)值,效率就是價(jià)值,而這一切離不開大數(shù)據(jù)思維。
說明:用關(guān)注效率思維方式思考問題,解決問題。大數(shù)據(jù)思維有點(diǎn)像混沌思維,確定與不確定交織在一起,過去那種一元思維結(jié)果,已被二元思維結(jié)果取代。過去尋求精確度,現(xiàn)在尋求高效率;過去尋求因果性,現(xiàn)在尋求相關(guān)性;過去尋找確定性,現(xiàn)在尋找概率性,對不精確的數(shù)據(jù)結(jié)果已能容忍。只要大數(shù)據(jù)分析指出可能性,就會(huì)有相應(yīng)的結(jié)果,從而為企業(yè)快速?zèng)Q策、快速動(dòng)作、創(chuàng)占先機(jī)提高了效率。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時(shí)代職業(yè)生涯的鑰匙(深度研究報(bào)告、發(fā)展指導(dǎo)白皮書) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04