
BI的三個(gè)層次–數(shù)據(jù)報(bào)表、數(shù)據(jù)分析、數(shù)據(jù)挖掘
經(jīng)過幾年的積累,大部分中大型的企事業(yè)單位已經(jīng)建立了比較完善的crm、ERP、OA等基礎(chǔ)信息化系統(tǒng)。這些系統(tǒng)的統(tǒng)一特點(diǎn)都是:通過業(yè)務(wù)人員或者用戶的操作,最終對數(shù)據(jù)庫進(jìn)行增加、修改、刪除等操作。上述系統(tǒng)可統(tǒng)一稱為OLTP(online Transaction Process,在線事務(wù)處理),指的就是系統(tǒng)運(yùn)行了一段時(shí)間以后,必然幫助企事業(yè)單位收集大量的歷史數(shù)據(jù)。但是,在數(shù)據(jù)庫中分散、獨(dú)立存在的大量數(shù)據(jù)對于業(yè)務(wù)人員來說,只是一些無法看懂的天書。業(yè)務(wù)人員所需要的是信息,是他們能夠看懂、理解并從中受益的抽象信息。此時(shí),如何把數(shù)據(jù)轉(zhuǎn)化為信息,使得業(yè)務(wù)人員(包括管理者)能夠充分掌握、利用這些信息,并且輔助決策,就是商業(yè)智能主要解決的問題。
如何把數(shù)據(jù)庫中存在的數(shù)據(jù)轉(zhuǎn)變?yōu)闃I(yè)務(wù)人員需要的信息?大部分的答案是報(bào)表系統(tǒng)。簡單說,報(bào)表系統(tǒng)已經(jīng)可以稱作是BI了,它是BI的低端實(shí)現(xiàn)?,F(xiàn)在國外的企業(yè),大部分已經(jīng)進(jìn)入了中端BI,叫做數(shù)據(jù)分析。有一些企業(yè)已經(jīng)開始進(jìn)入高端BI,叫做數(shù)據(jù)挖掘。而我國的企業(yè),目前大部分還停留在報(bào)表階段。
數(shù)據(jù)報(bào)表不可取代
傳統(tǒng)的報(bào)表系統(tǒng)技術(shù)上已經(jīng)相當(dāng)成熟,大家熟悉的Excel、水晶報(bào)表、Reporting Service等都已經(jīng)被廣泛使用。但是,隨著數(shù)據(jù)的增多,需求的提高,傳統(tǒng)報(bào)表系統(tǒng)面臨的挑戰(zhàn)也越來越多。
1. 數(shù)據(jù)太多,信息太少
密密麻麻的表格堆砌了大量數(shù)據(jù),到底有多少業(yè)務(wù)人員仔細(xì)看每一個(gè)數(shù)據(jù)?到底這些數(shù)據(jù)代表了什么信息、什么趨勢?級別越高的領(lǐng)導(dǎo),越需要簡明的信息。如果我是董事長,我可能只需要一句話:目前我們的情況是好、中還是差?
2. 難以交互分析、了解各種組合
定制好的報(bào)表過于死板。例如,我們可以在一張表中列出不同地區(qū)、不同產(chǎn)品的銷量,另一張表中列出不同地區(qū)、不同年齡段顧客的銷量。但是,這兩張表無法回答諸如“華北地區(qū)中青年顧客購買數(shù)碼相機(jī)類型產(chǎn)品的情況”等問題。業(yè)務(wù)問題經(jīng)常需要多個(gè)角度的交互分析。
3. 難以挖掘出潛在的規(guī)則
報(bào)表系統(tǒng)列出的往往是表面上的數(shù)據(jù)信息,但是海量數(shù)據(jù)深處潛在含有哪些規(guī)則呢?什么客戶對我們價(jià)值最大,產(chǎn)品之間相互關(guān)聯(lián)的程度如何?越是深層的規(guī)則,對于決策支持的價(jià)值越大,但是,也越難挖掘出來。
4. 難以追溯歷史,數(shù)據(jù)形成孤島
業(yè)務(wù)系統(tǒng)很多,數(shù)據(jù)存在于不同地方。太舊的數(shù)據(jù)(例如一年前的數(shù)據(jù))往往被業(yè)務(wù)系統(tǒng)備份出去,導(dǎo)致宏觀分析、長期歷史分析難度很大。因此,隨著時(shí)代的發(fā)展,傳統(tǒng)報(bào)表系統(tǒng)已經(jīng)不能滿足日益增長的業(yè)務(wù)需求了,企業(yè)期待著新的技術(shù)。
數(shù)據(jù)分析和數(shù)據(jù)挖掘的時(shí)代正在來臨。值得注意的是,數(shù)據(jù)分析和數(shù)據(jù)挖掘系統(tǒng)的目的是帶給我們更多的決策支持價(jià)值,并不是取代數(shù)據(jù)報(bào)表。報(bào)表系統(tǒng)依然有其不可取代的優(yōu)勢,并且將會長期與數(shù)據(jù)分析、挖掘系統(tǒng)一起并存下去。
數(shù)據(jù)挖掘看穿你的需求
廣義上說,任何從數(shù)據(jù)庫中挖掘信息的過程都叫做數(shù)據(jù)挖掘。從這點(diǎn)看來,數(shù)據(jù)挖掘就是BI。但從技術(shù)術(shù)語上說,數(shù)據(jù)挖掘(data Mining)特指的是:源數(shù)據(jù)經(jīng)過清洗和轉(zhuǎn)換等成為適合于挖掘的數(shù)據(jù)集。數(shù)據(jù)挖掘在這種具有固定形式的數(shù)據(jù)集上完成知識的提煉,最后以合適的知識模式用于進(jìn)一步分析決策工作。從這種狹義的觀點(diǎn)上,我們可以定義:數(shù)據(jù)挖掘是從特定形式的數(shù)據(jù)集中提煉知識的過程。數(shù)據(jù)挖掘往往針對特定的數(shù)據(jù)、特定的問題,選擇一種或者多種挖掘算法,找到數(shù)據(jù)下面隱藏的規(guī)律,這些規(guī)律往往被用來預(yù)測、支持決策。
關(guān)聯(lián)銷售案例:
美國的超市有這樣的系統(tǒng):當(dāng)你采購了一車商品結(jié)賬時(shí),售貨員小姐掃描完了你的產(chǎn)品后,計(jì)算機(jī)上會顯示出一些信息,然后售貨員會友好地問你:我們有一種一次性紙杯正在促銷,位于F6貨架上,您要購買嗎?
這句話決不是一般的促銷。因?yàn)橛?jì)算機(jī)系統(tǒng)早就算好了,如果你的購物車中有餐巾紙、大瓶可樂和沙拉,則86%的可能性你要買一次性紙杯。結(jié)果是,你說,啊,謝謝你,我剛才一直沒找到紙杯。這不是什么神奇的科學(xué)算命,而是利用數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則算法實(shí)現(xiàn)的系統(tǒng)。
每天,新的銷售數(shù)據(jù)會進(jìn)入挖掘模型,與過去N天的歷史數(shù)據(jù)一起,被挖掘模型處理,得到當(dāng)前最有價(jià)值的關(guān)聯(lián)規(guī)則。同樣的算法,分析網(wǎng)上書店的銷售業(yè)績,計(jì)算機(jī)可以發(fā)現(xiàn)產(chǎn)品之間的關(guān)聯(lián)以及關(guān)聯(lián)的強(qiáng)弱。
數(shù)據(jù)報(bào)表、數(shù)據(jù)分析、數(shù)據(jù)挖掘是BI的三個(gè)層面。我們相信未來幾年的趨勢是:越來越多的企業(yè)在數(shù)據(jù)報(bào)表的基礎(chǔ)上,會進(jìn)入數(shù)據(jù)分析與數(shù)據(jù)挖掘的領(lǐng)域。商業(yè)智能所帶來的決策支持功能,會給我們帶來越來越明顯的效益。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10