
數(shù)據(jù)倉庫實施需注意的四大問題
在實施數(shù)據(jù)倉庫的過程中,還面臨著很多影響數(shù)據(jù)倉庫項目成敗的關(guān)鍵因素,而這些因素實際上并不完全是技術(shù)層面的。這也是為什么數(shù)據(jù)倉庫項目失敗比例很高的主要原因。只有在項目中很好的解決這些問題,才能保證數(shù)據(jù)倉庫項目的最終成功。下面分別介紹這些需要關(guān)注的問題:
1.采用何種實施方法
企業(yè)級數(shù)據(jù)倉庫的實現(xiàn)通常有兩種途徑:一種是從建造某個部門特定的數(shù)據(jù)集市開始,逐步擴充數(shù)據(jù)倉庫所包含的主題和范圍,最后形成一個能夠完全反應企業(yè)全貌的企業(yè)級數(shù)據(jù)倉庫;另外一種則是從一開始就從企業(yè)的整體來考慮數(shù)據(jù)倉庫的主題和實施。前一種方法是各個擊破,投資少、周期短且易于見到成果,但由于該設計開始時是以特定的部門級主題為框架的,向其他的主題和部門擴充往往非常困難。而后一種方法恰恰相反:投資大、周期長,但是易于擴展。
以哪種方法進行實施,主要取決于各個行業(yè)和客戶的實際情況。如電信和銀行業(yè),采用第二種方法比較可行,這是因為這兩個行業(yè)業(yè)務發(fā)展變化快,為了能夠適應將來的變化,整個數(shù)據(jù)倉庫架構(gòu)必須是可擴展的和易于維護的。如果只是基于部門級的需求去設計,將來肯定無法適應變化。如果重新設計,勢必造成前期投入的浪費。對其他一些行業(yè),如制造業(yè)和零售業(yè),本著“急用先行”的原則,可以先從某一局部入手,慢慢擴展為數(shù)據(jù)倉庫。
從技術(shù)上講,以部門需求作為主要考慮因素建立的系統(tǒng),它的數(shù)據(jù)量不會太大,會影響對將來數(shù)據(jù)膨脹風險的正確估計,當數(shù)據(jù)集市擴展到企業(yè)范圍的時候,由于原有技術(shù)無法支撐新的數(shù)據(jù)規(guī)模,會造成數(shù)據(jù)裝載和數(shù)據(jù)分析速度的降低,甚至達到不可用的地步。另外,企業(yè)級的數(shù)據(jù)倉庫會涉及更多的額業(yè)務系統(tǒng),只有充分研究各業(yè)務系統(tǒng),才能了解如何對不同格式、不同標準、不同接口的數(shù)據(jù)進行集成。如果沒有這方面的準備,當擴展到企業(yè)層面時,會面臨很多技術(shù)問題,難以解決,而不得不對原有系統(tǒng)進行修改或重建。
當然,對于第二種方法,也不是說把攤子鋪的越大越好。合理的做法是“統(tǒng)籌規(guī)劃,分步實施”。根據(jù)業(yè)務需求,把業(yè)務的主要方面都涵蓋進去,確定彼此之間的聯(lián)系;對于次要的需求,可以預留一些接口,以備將來細化。否則,如果整個調(diào)研周期拖得太長,等進入實施階段,業(yè)務又發(fā)生變化,不得不重新修改設計,同樣會造成浪費。所以,先搭建好一個易于擴展且穩(wěn)定的架構(gòu),在此基礎上逐步實施,是一個兼顧長遠發(fā)展與合理投入的最佳方式。
此外,分步實施還可以減少風險:前一階段的經(jīng)驗教訓可以為下一階段提供有益的借鑒,從而使得數(shù)據(jù)倉庫的建設不斷完善,不斷發(fā)展。
2.從業(yè)務需求出發(fā),結(jié)合先進的實現(xiàn)技術(shù)
和其他的應用系統(tǒng)相比,數(shù)據(jù)倉庫對于需求分析和系統(tǒng)設計等前期工作要求更高,其重要性也更加突出。可以說,分析和設計階段決定了數(shù)據(jù)倉庫最終的失敗。因為需求不明確、設計不合理造成的根本性缺陷是以后實施階段所無法彌補的。因此在分析和設計階段,對相關(guān)的業(yè)務部門和技術(shù)部門要進行詳細的調(diào)研,在用戶和開發(fā)人員之間的迭代和反饋是必須和重要的,它決定了數(shù)據(jù)倉庫最終的成功與否。
由于數(shù)據(jù)倉庫是面向業(yè)務分析的,所以最主要的需求應該從業(yè)務部門獲取和收集,因為數(shù)據(jù)倉庫最終是要服務于業(yè)務部門的。需求抓的不準,導致將來將無法解決業(yè)務部門的問題,這個數(shù)據(jù)倉庫項目就是失敗的,技術(shù)再先進也沒有用。這是衡量數(shù)據(jù)倉庫成敗與否的唯一尺度。
實施的過程中,最好能夠把行業(yè)專家的經(jīng)驗,與企業(yè)現(xiàn)有的需求進行整合,以期得到一個更加全面的需求范圍,有利于適應將來業(yè)務的變化和擴展。
從技術(shù)的角度來講,必須建立一個可伸縮、可擴展、高性能的數(shù)據(jù)倉庫平臺,才能為將來不斷的完善、不斷發(fā)展打下一個良好的基礎;同時,由于數(shù)據(jù)倉庫項目要涉及多個業(yè)務系統(tǒng),數(shù)據(jù)量非常龐大,所以本身的投入也是很大的,在保證系統(tǒng)高效穩(wěn)定的前提下,盡量降低成本是非常重要的。
3.如何進行主題規(guī)劃
正如前面所講,建立數(shù)據(jù)倉庫需要長遠的規(guī)劃,我們建議企業(yè)“自底向上”地建立數(shù)據(jù)倉庫,并不意味著不需要在設計階段的長遠規(guī)劃。采用逐步積累的方式建立數(shù)據(jù)倉庫,其最大的問題是已有的主題是否有助于形成企業(yè)級的主題,數(shù)據(jù)加載模塊時候能夠重用等。數(shù)據(jù)倉庫的長遠規(guī)劃,并不僅僅是技術(shù)部門的事情,應當把數(shù)據(jù)倉庫的構(gòu)建作為企業(yè)發(fā)展戰(zhàn)略的一個重要組成部分。
數(shù)據(jù)倉庫設計的第一步是主題的確定,從現(xiàn)在的情況看,主題的范圍太大實現(xiàn)不了,太小沒有意義,應該選擇相對獨立而且技術(shù)上可行的一些業(yè)務。例如客戶分析、產(chǎn)品分析、收入分析和市場分析等。因為這些分析與企業(yè)當前的業(yè)務運行聯(lián)系最緊密,通過它們,可以了解:
·哪個企業(yè)擁有哪些不同類型的客戶?
·哪些是給我最大收益的客戶?如何提升他們的價值?
·如何掌握新的競爭形勢下客戶的需求與行為?
·哪些業(yè)務最受歡迎,利潤最高?
·業(yè)務的分布如何?
·快速成長的新的收入來源有哪些?
·應收賬款、欠費情況如何?
·與其他同行競爭對手的結(jié)算金額占整個收入的比例?
·我的客戶是否打算選擇其他競爭對手?
·運營成本和收益?
·哪些市場活動是有成效的,收益多少?
在完成第一階段的實施后,可以開始第二階段的實施。第二階段主要是從市場營銷、資源管理、網(wǎng)絡管理、客戶服務等部分入手;第三階段可繼續(xù)擴展到財務、績效等更高層次的、全局性的財務、運營情況分析。這時候,所有的重要信息都已連成一體,CEO可以了解有關(guān)成本、利潤、市場營銷還有客戶發(fā)展趨勢等多方面的企業(yè)宏觀層面的決策信息,它們?yōu)槎ㄖ茟?zhàn)略決策提供了充分的依據(jù)。決策的制定再也不是單憑經(jīng)驗和感覺了。從而大大的提高了決策的質(zhì)量,規(guī)避了風險。減少了決策失誤造成的巨大損失。這也正是數(shù)據(jù)倉庫高投資回報率的重要體現(xiàn)。
當然,在進行主體規(guī)劃的時候,必須重點強調(diào)的是:技術(shù)框架和系統(tǒng)設計必須從整個企業(yè)的角度來考慮,即使剛開始實施的時候是面向某個部門的。以電信企業(yè)為例,在進行“客戶”主題設計的時候,就必須考慮到同一用戶還有可能是長途電話、移動電話的用戶。因此在設計時如果同時考慮固定電話用戶,就不僅要解決不同系統(tǒng)的互聯(lián)問題,在不同系統(tǒng)中用戶數(shù)據(jù)的集成也將是一個巨大的挑戰(zhàn)。
4.領(lǐng)導層的參與和支持
數(shù)據(jù)倉庫是面向業(yè)務主題的分析型應用。它既需要業(yè)務部門的全力配合,又需要先進可靠的技術(shù)手段及良好的項目管理過程來實現(xiàn)。它涉及眾多的業(yè)務部門、系統(tǒng)開發(fā)部門、系統(tǒng)運維支撐部門等。在設計和實施階段需要不同部門的溝通和協(xié)作,是一個負責的系統(tǒng)工程。只有領(lǐng)導層從戰(zhàn)略的高度上認識到它的重要性,在項目實施過程中給與大力支持和配合,協(xié)調(diào)各部門資源,保證他們可以及時到位,全職投入才能取得項目的成功。所以數(shù)據(jù)倉庫項目又通常被稱為“一把手”工程。從這一點上看,建立一個企業(yè)級的數(shù)據(jù)倉庫,主要的障礙不在于技術(shù),而是不同部門之間組織、協(xié)調(diào)的問題。而高層領(lǐng)導的大力推動和支持,無疑是解決這一問題的最有效的途徑。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03