上海的便利店數(shù)據(jù)分析支持系統(tǒng)建設(shè)_數(shù)據(jù)分析師培訓(xùn)

1999年06月可的導(dǎo)入了海鼎HDPOS商品管理信息系統(tǒng)，實(shí)現(xiàn)商品流程的系統(tǒng)管理。隨著商品業(yè)務(wù)數(shù)據(jù)的積累，利用這些數(shù)據(jù)為商品業(yè)務(wù)決策服務(wù)的需求非常自然的就產(chǎn)生了。雖然HDPOS系統(tǒng)本身帶有功能非常強(qiáng)大的報(bào)表查詢功能，但管理人員發(fā)現(xiàn)他們即使有這個(gè)查詢工具也很難得到滿足他們需要的信息和數(shù)據(jù)。在1999年10月，數(shù)據(jù)分析崗位設(shè)立，第一名數(shù)據(jù)人員上崗。于是管理人員除了直接從HDPOS系統(tǒng)的報(bào)表工具獲取信息外，還依賴于數(shù)據(jù)分析人員。

 　　HDPOS系統(tǒng)實(shí)質(zhì)是面向業(yè)務(wù)操作的，商品運(yùn)作和業(yè)務(wù)流程被表示為單據(jù)的流轉(zhuǎn)，業(yè)務(wù)規(guī)則被系統(tǒng)統(tǒng)一為單據(jù)的操作規(guī)則，顯然系統(tǒng)中數(shù)據(jù)的格式和儲(chǔ)存必須首先滿足單據(jù)操作規(guī)則。查詢工具較好地解決了，以單據(jù)類型為中心面向操作人員的報(bào)表。而以問(wèn)題為中心面向管理人員的報(bào)表，查詢工具較難解決。問(wèn)題的根源在查詢工具面對(duì)的數(shù)據(jù)，而不是查詢工具本身，通過(guò)查詢工具的改進(jìn)，還是不能根本解決管理人員的需求。

 　　管理人員本來(lái)希望通過(guò)與業(yè)務(wù)系統(tǒng)的直接交互來(lái)得到數(shù)據(jù)和信息，現(xiàn)實(shí)是要通過(guò)數(shù)據(jù)分析人員與業(yè)務(wù)系統(tǒng)交互。數(shù)據(jù)分析工作對(duì)企業(yè)的重要性日益體現(xiàn)，2001年數(shù)據(jù)分析部門數(shù)據(jù)分析室成立，數(shù)據(jù)分析人員增加。

 　　1．建設(shè)數(shù)據(jù)倉(cāng)庫(kù)

 　　數(shù)據(jù)分析人員發(fā)現(xiàn)他必須首先對(duì)HDPOS系統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)作加工，才能快速和正確相應(yīng)管理人員的需求。在明確了解管理人員的問(wèn)題，即分析和決策主題，對(duì)數(shù)據(jù)加工過(guò)程和規(guī)則掌握后，2001年數(shù)據(jù)分析部門開(kāi)始構(gòu)建面向分析和決策的數(shù)據(jù)倉(cāng)庫(kù)。

 　　數(shù)據(jù)倉(cāng)庫(kù)的硬件是一臺(tái)空間為150G的服務(wù)器，操作系統(tǒng)是win2000server，由于是數(shù)據(jù)分析人員自己構(gòu)建，數(shù)據(jù)倉(cāng)庫(kù)選擇了SQL2000。

 　　1.1 數(shù)據(jù)粒度和事實(shí)表

 　　在可的便利，分析數(shù)據(jù)中最常見(jiàn)的數(shù)據(jù)粒度是時(shí)間按月，業(yè)務(wù)單元到門店，商品單位到商品代碼。在業(yè)務(wù)數(shù)據(jù)庫(kù)（HDPOS）中，單據(jù)數(shù)據(jù)的時(shí)間是精確到秒的，部分單據(jù)業(yè)務(wù)單元是到門店下屬的倉(cāng)位。 在數(shù)據(jù)倉(cāng)庫(kù)中，儲(chǔ)存了從2000年01月以后數(shù)據(jù)粒度為（月、店、單品）的銷售、進(jìn)貨、配貨、庫(kù)存數(shù)據(jù)，這些數(shù)據(jù)都有數(shù)量、售價(jià)金額、去稅售價(jià)金額、成本金額、去稅成本金額五個(gè)值。并對(duì)配貨和進(jìn)貨數(shù)據(jù)進(jìn)行了統(tǒng)一處理，因?yàn)檫M(jìn)貨和配貨有多種流程和單據(jù)。

 　　在數(shù)據(jù)倉(cāng)庫(kù)中，儲(chǔ)存了最近13個(gè)月的數(shù)據(jù)粒度為（日、店、單品）的銷售、進(jìn)貨、配貨數(shù)據(jù)

。 　　在數(shù)據(jù)倉(cāng)庫(kù)中，儲(chǔ)存了指定日期的數(shù)據(jù)粒度為（時(shí)段、店、單品）的銷售流水?dāng)?shù)據(jù)。

 　　為滿足預(yù)算和業(yè)績(jī)管理，數(shù)據(jù)倉(cāng)庫(kù)中統(tǒng)一儲(chǔ)存了各部門的預(yù)算和業(yè)績(jī)考核數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)還儲(chǔ)存了來(lái)自于財(cái)務(wù)和發(fā)展部門的其他數(shù)據(jù)。

 　　1.2維度數(shù)據(jù)

 　　分析的水平、深度、和廣度取決于維度數(shù)據(jù)，維度越多對(duì)fact數(shù)據(jù)的認(rèn)識(shí)就越深刻。維度數(shù)據(jù)處理來(lái)源很多，是企業(yè)管理經(jīng)驗(yàn)和數(shù)據(jù)的提練

 　　商品的維度重要的有：　按分類體系 　按商圈 　按重要程度 　按規(guī)格（部分商品） 　按毛利率 　

門店的維度重要的有： 　按組織體系 　按單店水平 　按地域分布 　按產(chǎn)權(quán)屬性 此外，還有關(guān)于供應(yīng)商和業(yè)務(wù)人員的維度。

 　　1．3 數(shù)據(jù)加工 

　　數(shù)據(jù)倉(cāng)庫(kù)建在SQL2000上，于是使用SQL2000的數(shù)據(jù)轉(zhuǎn)換功能，將數(shù)據(jù)抽取、清洗、整理的規(guī)則寫成數(shù)據(jù)轉(zhuǎn)換報(bào)。 　　月度數(shù)據(jù)和來(lái)自業(yè)務(wù)系統(tǒng)之外的數(shù)據(jù)加工，通過(guò)人工觸發(fā)數(shù)據(jù)轉(zhuǎn)換包實(shí)現(xiàn)。月度數(shù)據(jù)是在每月財(cái)務(wù)結(jié)算完畢后處理，外系統(tǒng)數(shù)據(jù)在收到數(shù)據(jù)后處理。

 　　日事實(shí)數(shù)據(jù)和維度數(shù)據(jù)加工，通過(guò)SQL2000的作業(yè)機(jī)制，按時(shí)間規(guī)則每日自動(dòng)調(diào)用數(shù)據(jù)轉(zhuǎn)換報(bào)實(shí)現(xiàn)。首先清除數(shù)據(jù)倉(cāng)庫(kù)中最后六日的數(shù)據(jù)，然后導(dǎo)入最新七日的數(shù)據(jù)，通過(guò)這樣的規(guī)則來(lái)保障數(shù)據(jù)倉(cāng)庫(kù)與業(yè)務(wù)數(shù)據(jù)庫(kù)數(shù)據(jù)的一致性。 　　時(shí)段數(shù)據(jù)的加工，按需要的日期觸發(fā)數(shù)據(jù)轉(zhuǎn)換包實(shí)現(xiàn)。1. 4分析服務(wù)器使用SQL2000的Analysis Service作為OLAP服務(wù)器，將數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)加工成多維數(shù)據(jù)集（cube）。

 　　目前僅使用數(shù)據(jù)倉(cāng)庫(kù)中的月度事實(shí)數(shù)據(jù)和時(shí)段事實(shí)數(shù)據(jù)來(lái)建立cube。

 　　2.報(bào)表服務(wù)器和前端工具

 　　報(bào)表服務(wù)器和前端界面工具均使用微軟的EXCEL。

 　　2．1 報(bào)表服務(wù)器

 　　在服務(wù)器上安裝excel軟件，數(shù)據(jù)分析軟件將報(bào)表邏輯用VBA寫入excel文件中。利用window操作系統(tǒng)計(jì)劃任務(wù)功能自動(dòng)打開(kāi)excel，執(zhí)行VBA腳本。自動(dòng)完成與數(shù)據(jù)倉(cāng)庫(kù)連結(jié)，制作多維數(shù)據(jù)透視表，將報(bào)表文件通過(guò)電子郵件發(fā)送到指定用戶。

 　　有了這個(gè)框架，分析報(bào)表體系就表現(xiàn)為excel文件的集合，每個(gè)多維數(shù)據(jù)透視表的excel文件針對(duì)一個(gè)管理主題。

 　　2003年企業(yè)建成HDINTRA辦公系統(tǒng)后，用戶還通過(guò)瀏覽器以公文方式接收excel報(bào)表文件。報(bào)表服務(wù)器自動(dòng)將excel報(bào)表文件上傳到HDINTRA的ftp服務(wù)器。實(shí)現(xiàn)了數(shù)據(jù)分析系統(tǒng)與辦公系統(tǒng)的集成。

 　　2．2前端工具 

　　用戶收到excel數(shù)據(jù)文件后，打開(kāi)后就可使用。Excel是標(biāo)準(zhǔn)的工具，現(xiàn)在管理人員都具有一定基礎(chǔ)。操作上只需對(duì)管理人員進(jìn)行多維數(shù)據(jù)透視表的使用。

 　　3.數(shù)據(jù)分析人員

 　　數(shù)據(jù)分析人員既是業(yè)務(wù)專家，又是信息系統(tǒng)專家，但首先必須是業(yè)務(wù)專家，尤其是企業(yè)內(nèi)部的數(shù)據(jù)分析人員。