商業(yè)智能的發(fā)展趨勢及關(guān)鍵技術(shù)分析

從應(yīng)用和技術(shù)需求上看，商業(yè)智能的發(fā)展趨勢可以歸納為以下方面。功能上具有可配置性、靈活性、可變化性。BI系統(tǒng)的使用范圍從特定部門到企業(yè)所有用戶，其業(yè)務(wù)多樣化，需求格式不同，展示方式也各有變化，對BI系統(tǒng)在配置和靈活上提出了要求。
    解決方案更開放、可擴(kuò)展、可定制。BI系統(tǒng)在原有方案基礎(chǔ)，根據(jù)企業(yè)的獨特需求，增加個性化設(shè)置的接口和擴(kuò)展特性，使系統(tǒng)更加靈活而且擴(kuò)大了使用范圍。
    從單獨的商業(yè)智能向嵌入式商業(yè)智能發(fā)展。即把商業(yè)智能組件嵌入到企業(yè)現(xiàn)有的應(yīng)用系統(tǒng)中，使事務(wù)處理系統(tǒng)具有商業(yè)智能的分析特性。如SAP的ERP就嵌套了Business Objiect的商業(yè)智能產(chǎn)品，其它公司也有類似的合并，這是商業(yè)智能應(yīng)用的一大趨勢。
    從傳統(tǒng)功能向增強(qiáng)型功能轉(zhuǎn)變。商業(yè)智能增強(qiáng)功能是相對于SOL查詢來說的，而企業(yè)建模、多維數(shù)據(jù)處理、數(shù)據(jù)挖掘以及數(shù)據(jù)預(yù)測等功能可以提高系統(tǒng)的可用性和智能性，通常被看作BI系統(tǒng)的增強(qiáng)功能。
    從市場前景來看，商業(yè)智能將面臨BI提供商的合并；從戰(zhàn)略型商業(yè)智能向操作性或?qū)崟r性商業(yè)智能轉(zhuǎn)換；以及更加智能和成熟的分析工具和展現(xiàn)工具等改變。
   一、數(shù)據(jù)倉庫
   數(shù)據(jù)倉庫是商業(yè)智能系統(tǒng)的基礎(chǔ)，以往的數(shù)據(jù)庫系統(tǒng)主要用于事務(wù)處理，很難或無法實現(xiàn)分析處理。近年來，越來越多的數(shù)據(jù)分析與決策信息支持在被企業(yè)所重視，數(shù)據(jù)倉庫技術(shù)應(yīng)運(yùn)而生。
   數(shù)據(jù)倉庫的定義
    目前對于數(shù)據(jù)倉庫還沒有統(tǒng)一的定義，被稱為數(shù)據(jù)倉庫之父的BillInmon在其著作《（Building the Data Warehouse））一書中給出的定義被廣泛接受：數(shù)據(jù)倉庫（Data Warehouse）是一個面向主題的（Subject Oriented）、集成的（Integrated）、相對穩(wěn)定的（Non.Volatile）、反映歷史變化（Time Variant）的數(shù)據(jù)集合，用于支持管理決策。
    可以從兩個層面對數(shù)據(jù)倉庫的概念進(jìn)行理解，首先數(shù)據(jù)倉庫是面向分析處理的，主要用來支持決策制定；再者數(shù)據(jù)倉庫包含歷史數(shù)據(jù)，是對多個異構(gòu)的數(shù)據(jù)源數(shù)據(jù)按照主題的集成，它的數(shù)據(jù)相對固定，不會經(jīng)常改動。
   數(shù)據(jù)倉庫的特點
    面向主題、集成、相對穩(wěn)定、反映歷史變化是對數(shù)據(jù)倉庫的定義，也是對數(shù)據(jù)倉庫特點的描述，下面分別解釋它們的含義。
    （1）面向主題的：數(shù)據(jù)倉庫的數(shù)據(jù)都是按照一定的業(yè)務(wù)主題進(jìn)行組織的，面向主題體現(xiàn)在數(shù)據(jù)倉庫的建設(shè)中，而且還包含在業(yè)務(wù)數(shù)據(jù)分析和存儲上。
    （2）集成的：數(shù)據(jù)倉庫中的數(shù)據(jù)來自各個不同的分散數(shù)據(jù)庫中，它并不是對源數(shù)據(jù)庫數(shù)據(jù)的簡單拷貝，而是按照劃分好的主題和數(shù)據(jù)分析要求，經(jīng)過數(shù)據(jù)抽取、清理、匯總和整理等步驟，消除源數(shù)據(jù)中的錯誤和不一致數(shù)據(jù)，保證數(shù)據(jù)倉庫中數(shù)據(jù)的正確性和可用性，所以它是整合集成的。
    （3）相對穩(wěn)定的：數(shù)據(jù)倉庫的穩(wěn)定性體現(xiàn)在它的非易失性上，由于數(shù)據(jù)倉庫是面向分析的，其中的數(shù)據(jù)是從業(yè)務(wù)數(shù)據(jù)中加載過來的歷史數(shù)據(jù)，所進(jìn)行的主要操作是查詢和分析，供決策分析使用，所以其修改和刪除操作很少，只需要定期的增量加載，所以具有相對穩(wěn)定特征。
    （4）反映歷史變化：數(shù)據(jù)倉庫必須能夠不斷地捕捉業(yè)務(wù)系統(tǒng)中的變化數(shù)據(jù)，記錄企業(yè)生產(chǎn)過程的各個階段的信息，以滿足決策分析的需要，所以必須實時地把新變化的業(yè)務(wù)數(shù)據(jù)追加到數(shù)據(jù)倉庫中去，通過數(shù)據(jù)隨時問變化的研究和分析，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預(yù)測。
    可見數(shù)據(jù)倉庫與業(yè)務(wù)數(shù)據(jù)庫的不同之處體現(xiàn)在：數(shù)據(jù)庫是面向事務(wù)的設(shè)計，數(shù)倉庫是面向主題設(shè)計的；數(shù)據(jù)庫一般存儲在線交易數(shù)據(jù)，數(shù)據(jù)倉庫存儲的一般是歷史數(shù)據(jù)； 數(shù)據(jù)庫設(shè)計是盡量避免冗余，一般采用符合范式的規(guī)則來設(shè)計，數(shù)據(jù)倉庫在設(shè)計是有意引入冗余，采用反范式的方式來設(shè)計； 數(shù)據(jù)庫是為捕獲數(shù)據(jù)而設(shè)計，數(shù)據(jù)倉庫是為分析數(shù)據(jù)而設(shè)計，它的兩個基本的元素是維表和事實表。
   數(shù)據(jù)倉庫與BI
    關(guān)于數(shù)據(jù)倉庫和商業(yè)智能的關(guān)系，在業(yè)界還存在一些分歧。有人從數(shù)據(jù)倉庫系統(tǒng)的角度考慮，認(rèn)為數(shù)據(jù)倉庫包含了從原始數(shù)據(jù)提取到用于見到的軟件和應(yīng)的所有內(nèi)容。它和商業(yè)智能的創(chuàng)建步驟和目的都是一致的，它們沒有本質(zhì)的區(qū)別，可以看作是一回事。還有人從靜態(tài)的角度看待數(shù)據(jù)倉庫，認(rèn)為數(shù)據(jù)倉庫僅僅是集中式的高度規(guī)范化的數(shù)據(jù)存儲，它只是為商業(yè)智能提供數(shù)據(jù)支持。不管是數(shù)據(jù)倉庫還是商業(yè)智能，都是應(yīng)業(yè)務(wù)分析需要而產(chǎn)生的，它們都不可能脫離業(yè)務(wù)邏輯分析和業(yè)務(wù)維度分析而存在。兩者是相互存在，互為條件的。不存在脫離商業(yè)智能分析的數(shù)據(jù)倉庫，也不存在沒有數(shù)據(jù)倉庫支持的商業(yè)智能。如果從商業(yè)智能的角度考慮，通常認(rèn)為數(shù)據(jù)倉庫為商業(yè)智能的一部分，它和聯(lián)機(jī)分析處理以及數(shù)據(jù)挖掘被定義為商業(yè)智能的三個關(guān)鍵技術(shù)。從這個角度看，在商業(yè)智能系統(tǒng)中所指的數(shù)據(jù)倉庫，是數(shù)據(jù)倉庫構(gòu)建和填充的過程，沒有包括其分析功能，它為商業(yè)智能系統(tǒng)提供數(shù)據(jù)基礎(chǔ)。
  二、數(shù)據(jù)抽取、轉(zhuǎn)換和加載（ETL）
   ETL概念及作用
    ETL是數(shù)據(jù)抽取（Extract）、轉(zhuǎn)換（Transform）、裝載（Load）的縮寫，是完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉庫轉(zhuǎn)化的過程，抽取是將數(shù)據(jù)從各種原始的業(yè)務(wù)系統(tǒng)中讀取出來，這是所有工作的前提。轉(zhuǎn)換是按照預(yù)先設(shè)計好的規(guī)則將抽取的數(shù)據(jù)進(jìn)行轉(zhuǎn)換、清洗，以及處理一些冗余、歧義的數(shù)據(jù)，使本來異構(gòu)的數(shù)據(jù)格式能統(tǒng)一起來。裝載是將轉(zhuǎn)換完的數(shù)據(jù)按計劃增量或全部的導(dǎo)入到數(shù)據(jù)倉庫中。ETL是數(shù)據(jù)倉庫、數(shù)據(jù)挖掘以及商業(yè)智能等技術(shù)的基石。
    ETL是Bl/DW（Business Intelligence）的核心和靈魂，它在商業(yè)智能系統(tǒng)中占據(jù)舉足輕重的作用。在整個BI項目中最難部分是用戶需求分析和模型設(shè)計，而ETL規(guī)則設(shè)計和實施則是工作量最大的，約占整個項目的60%～80%?？梢?a href='/map/ETL/' style='color:#000;font-size:inherit;'>ETL的重要性，ETL設(shè)計的正確性和合理性，直接影響整個BI項目的效率和質(zhì)量。
   數(shù)據(jù)清洗和轉(zhuǎn)換
    ETL過程中最復(fù)雜的是數(shù)據(jù)清洗和轉(zhuǎn)換，它通常是與業(yè)務(wù)需要和后期的數(shù)據(jù)分析和數(shù)據(jù)挖掘直接相關(guān)的，也是BI項目中資源密集程度最高的步驟。數(shù)據(jù)清洗的目的是除去數(shù)據(jù)中的“噪聲（noise）”和不相關(guān)的信息。數(shù)據(jù)轉(zhuǎn)換的目的是將源數(shù)據(jù)的數(shù)據(jù)值與類型轉(zhuǎn)換為同一的格式。數(shù)據(jù)清洗和轉(zhuǎn)換通常包括以下處理。
    數(shù)據(jù)類型的轉(zhuǎn)換：這是數(shù)據(jù)轉(zhuǎn)換中最簡單的任務(wù)，由需要通常將布爾類型轉(zhuǎn)換為整數(shù)類型；或連續(xù)的數(shù)據(jù)類型根據(jù)一定原則轉(zhuǎn)變?yōu)殡x散的值；對數(shù)據(jù)進(jìn)行歸一化等。
    數(shù)據(jù)分組：有時可能有許多不同的值（狀態(tài)）出現(xiàn)在離散列中，為了減少模型的復(fù)雜性需要把這些值分組，例如職業(yè)可能有幾十種不同的值，如軟件工程師、電子工程師、硬件工程師、顧問等，我們可以用一個“工程師’’來對其進(jìn)行歸納，以減少模型的復(fù)雜度。
    數(shù)據(jù)聚集：聚集計算的結(jié)果是根據(jù)用戶可能的查詢預(yù)先計算好的匯總數(shù)據(jù)。比如希望通過每個客戶的詳細(xì)通話記錄對客戶進(jìn)行細(xì)分，派生出呼叫次數(shù)和平均通話時間等屬性列。
    離群點的處理：離群點稱為孤立點，是數(shù)據(jù)集中的異常事例，這些事例是少數(shù)的情況，但卻影響一般數(shù)據(jù)分析模型的準(zhǔn)確性，需要對它們單獨進(jìn)行處理。通常情況是直接刪除這些孤立點，對正常數(shù)據(jù)進(jìn)行建模。但有時候?qū)@些點的分析卻有非常重要的意義，比如信用卡欺詐檢測和網(wǎng)入侵檢測等。
    缺失值處理：從不同數(shù)據(jù)源集成過來的數(shù)據(jù)，由于多方面原因存在很多的缺失的數(shù)據(jù)，這些空值的存在嚴(yán)重影響了正常的數(shù)據(jù)分析工作，必須對其進(jìn)行處理。目前有一些方法來處理這種問題，利用平均值代替或者用常見的值代替或者直接產(chǎn)出帶空值的記錄，無論使用怎么的方法，都必須看實際業(yè)務(wù)對數(shù)據(jù)的要求和對模型準(zhǔn)確性的要求程度。
    還有其它的數(shù)據(jù)清洗和轉(zhuǎn)換任務(wù)，在具體操作中，我們需要使用相應(yīng)的工具來解決業(yè)務(wù)問題，確保數(shù)據(jù)的正確性及可用性。
   ETL的挑戰(zhàn)
    ETL系統(tǒng)是一個復(fù)雜的系統(tǒng)工程，雖然ETL已經(jīng)進(jìn)入實用階段，但還有許多阻礙其應(yīng)用的情況。主要體現(xiàn)在異構(gòu)數(shù)據(jù)源的結(jié)構(gòu)差別和數(shù)據(jù)源數(shù)據(jù)質(zhì)量方面。ETL的各個數(shù)據(jù)源位于不同的網(wǎng)絡(luò)和操作系統(tǒng)，在數(shù)據(jù)格式定義，數(shù)據(jù)結(jié)構(gòu)和接口方面都存在很大差異，給數(shù)據(jù)提取工作帶來很多的麻煩。而且現(xiàn)有不同數(shù)據(jù)庫系統(tǒng)存在無法解決的臟數(shù)據(jù)，包括命名格式不規(guī)范，濫用縮寫詞、慣用語、數(shù)據(jù)錄入錯誤、數(shù)據(jù)重復(fù)、數(shù)據(jù)丟失、單位尺度不一致等。其中對數(shù)據(jù)集成和清洗影響最大的是以下問題。
    （1）數(shù)據(jù)冗余不一致。數(shù)據(jù)庫系統(tǒng)設(shè)計時可能從方便或效率方面的考慮，將一種數(shù)據(jù)分別保存在不同的地方別進(jìn)行維護(hù)，數(shù)據(jù)的修改得不到及時的反饋和統(tǒng)一，造成了數(shù)據(jù)之間的不一致，及增加了數(shù)據(jù)冗余度，也很難分辨數(shù)據(jù)的正誤。
    （2）數(shù)據(jù)關(guān)聯(lián)錯誤。由于數(shù)據(jù)庫設(shè)計的不合理，很多情況下會存在數(shù)據(jù)之間的關(guān)聯(lián)和依賴，包括屬性關(guān)聯(lián)即兩個屬性分別可以由對方推導(dǎo)計算出來，或?qū)嶓w關(guān)聯(lián)即實體間使用關(guān)聯(lián)屬性來關(guān)聯(lián)連接。這種設(shè)計方式會產(chǎn)生數(shù)據(jù)之間的不一致、實體關(guān)聯(lián)性丟失甚至出現(xiàn)實體關(guān)聯(lián)錯誤。
    （3）數(shù)據(jù)本身錯誤。由于在數(shù)據(jù)庫設(shè)計時沒有進(jìn)行數(shù)據(jù)的約束設(shè)計，或者用戶輸入數(shù)據(jù)時的個人疏忽等原因造成數(shù)據(jù)源中存在不滿足要求的數(shù)據(jù)以上問題給ETL的設(shè)計和實施增加了不同程度的困難，有時只有犧牲數(shù)據(jù)的準(zhǔn)確性來達(dá)到系統(tǒng)效率和項目進(jìn)度的要求。解決這些問題，還需要加強(qiáng)企業(yè)工作過程的規(guī)范化管理，改善企業(yè)的數(shù)據(jù)庫結(jié)構(gòu)等，隨著企業(yè)信息化水平的提高，這些困擾ETL實施的問題會逐漸得到改善和解決。
   三、 聯(lián)機(jī)分析處理（OLAP）
   OLAP的理解
    OLAP是Online Analytic Process（聯(lián)機(jī)分析處理）的縮寫，E.ECodd于1 993年首次提出這個概念。從字面上看OLAP是對聯(lián)機(jī)數(shù)據(jù)訪問和分析，它是為了滿足更高效地進(jìn)行多維分析的需求而產(chǎn)生的。OLAP的主要功能是根據(jù)用戶所選擇的分析，從多個角度（維）度對信息進(jìn)行快速、一致、穩(wěn)定地交互訪問，使用戶可以在短時間內(nèi)從各種不同的角度審視業(yè)務(wù)的經(jīng)營情況。OLAP是一種技術(shù)，它最大的特點是其機(jī)動性和快速性。OLAP技術(shù)是彌補(bǔ)關(guān)系數(shù)據(jù)庫在統(tǒng)計及綜合查詢分析方面的不足，迎合人們對數(shù)據(jù)的復(fù)雜查詢和對于數(shù)據(jù)分類別及層次等高級分析需求而產(chǎn)生的，能在短時間內(nèi)響應(yīng)非專業(yè)人員的復(fù)雜查詢?？梢岳肙LM）技術(shù)從多種角度對業(yè)務(wù)數(shù)據(jù)進(jìn)行多方面的匯總統(tǒng)計計算，還可以利用數(shù)據(jù)挖掘技術(shù)自動發(fā)現(xiàn)其中隱含的有用理解了OLAP與OLTP的區(qū)別，也就對OLAP的特點，功能和使用方式有了感性的認(rèn)識，OLAP作為一種分析和存儲技術(shù)，表現(xiàn)出它獨特的優(yōu)勢。隨著數(shù)據(jù)倉庫的發(fā)展，數(shù)據(jù)倉庫（DW）系統(tǒng)正成為新的決策管理系統(tǒng)解決方案。DW系統(tǒng)以OLAP為核心，但包括更為廣泛的內(nèi)容。
   OLAP操作
    OLAP的目標(biāo)是滿足決策支持或者滿足在多維環(huán)境下特定的查詢和報表需求，它展現(xiàn)在用戶面前的是一幅幅多維視圖，它的技術(shù)核心是“維"這個概念。0LAP的多維分析操作有鉆取、切片和切塊以及旋轉(zhuǎn)等。鉆取是在維的層次上進(jìn)行向上或向下的查看來改變分析粒度的查詢。它包括向下鉆?。―rill.down）和向上鉆?。―rill.up）/上卷（Roll.up）。Drill.up是在某一維上將低層次的細(xì)節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)，或者減少維數(shù)；而Drill—down則相反，它從匯總數(shù)據(jù)深入到細(xì)節(jié)數(shù)據(jù)進(jìn)行觀察或增加新維。切片和切塊是在先固定一些維度上選擇的屬性值，然后查看度量值在其它維度上的變化。如果其它的維有一個則是切片；有兩個以上則是切塊。旋轉(zhuǎn)是變換維的顯示位置，即在表格中重新安排維的放置。
   OLAP的分類
    OLAP是以數(shù)據(jù)存在為前提的，按照數(shù)據(jù)的存儲格式可以分為以下幾種。
    （1）關(guān)系OLAP又稱ROLAP使用關(guān)系或擴(kuò)充關(guān)系DBMS存放并管理數(shù)據(jù)倉庫，采用基于稀疏矩陣表示方法的星形結(jié)構(gòu)或雪花結(jié)構(gòu)存儲多維數(shù)據(jù)，數(shù)據(jù)檢索比MOLAP低效。
    （2）多維OLAP又稱MOLAP是基于多維數(shù)據(jù)庫來實現(xiàn)的，其數(shù)據(jù)存儲采用多維方陣或矩陣方式，數(shù)據(jù)檢索高效，是為直接支持多維查詢分析處理而設(shè)計的結(jié)構(gòu)。
    （3）混合OLAP又稱HOLAP是結(jié)合ROLAP和MOLAP技術(shù)，在MOLAP立方體中存儲高級別的聚集，在ROLAP中存儲低級別的聚集。
    （4）桌面OLAP指沒有自己的數(shù)據(jù)存儲庫，把用戶的查詢翻譯為對數(shù)據(jù)源的查詢，然后再把結(jié)果合成返回給用戶。
    （5）客戶OLAP是相對于Server OLAP而言的，客戶OLAP把部分?jǐn)?shù)據(jù)下載到本地，為用戶提供本地的多維分析。
    在商業(yè)智能系統(tǒng)中都是在數(shù)據(jù)倉庫基礎(chǔ)上建立OLAP，所以一般是對關(guān)系OLAP，多維OLAP和混合OLAP的討論和使用。
   四、數(shù)據(jù)挖掘
   數(shù)據(jù)挖掘的定義
    關(guān)于數(shù)據(jù)挖掘（Date Mining），目前沒有統(tǒng)一的定義，不同的學(xué)者或機(jī)構(gòu)按照自己的理解分別給出不同的說法。簡單的說，數(shù)據(jù)挖掘就是指從大量數(shù)據(jù)中提取或“挖掘"知識。我們擁有海量的數(shù)據(jù)，卻苦于信息缺乏，數(shù)據(jù)挖掘借用從礦石或沙子中挖掘黃金之意，是指從大量數(shù)據(jù)中自動地發(fā)現(xiàn)有趣的模式和有價值的信息，其中數(shù)據(jù)可以存放在數(shù)據(jù)庫、數(shù)據(jù)倉庫或者其它信息系統(tǒng)中有價值的信息的過程。
    與數(shù)據(jù)挖掘關(guān)系密切的的一詞是數(shù)據(jù)中的知識發(fā)現(xiàn)即KDD（KnowledgeDiscovery in Database），它是從大量的、隨機(jī)的、有噪聲的、不完全的、模糊的數(shù)據(jù)中，提取潛在的有用的信息和知識，這些知識是隱藏在其中的規(guī)律，不容易被人發(fā)現(xiàn)和識別㈨。有許多文獻(xiàn)把數(shù)據(jù)挖掘和IED視為同義詞，認(rèn)為它們是一回事，但大多數(shù)人支持數(shù)據(jù)挖掘是知識發(fā)現(xiàn)過程的的一個基本步驟這樣的說法。知識發(fā)現(xiàn)是將未加工的數(shù)據(jù)轉(zhuǎn)換為有用信息的整個過程，它包括一些列的轉(zhuǎn)換步驟，從數(shù)據(jù)的預(yù)處理到數(shù)據(jù)挖掘結(jié)果的后處理。圖2—2給出了知識發(fā)現(xiàn)的過程及它與數(shù)據(jù)挖掘的關(guān)系。
    在商業(yè)智能系統(tǒng)中談數(shù)據(jù)挖掘，是指在以整理好的數(shù)據(jù)倉庫基礎(chǔ)進(jìn)行的特定業(yè)務(wù)數(shù)據(jù)的挖掘，它注重數(shù)據(jù)挖掘算法的應(yīng)用和挖掘結(jié)構(gòu)的展示。由于是在數(shù)據(jù)倉庫的基礎(chǔ)上，還注重算法的效率和掃描數(shù)據(jù)庫次數(shù)等方面。數(shù)據(jù)挖掘技術(shù)涉及到數(shù)據(jù)庫技術(shù)、機(jī)器學(xué)習(xí)、統(tǒng)計分析、可視化、信息科學(xué)等多種技術(shù)。