BI商業(yè)智能與大數據應用的區(qū)別_數據分析師

之所以要區(qū)分大數據應用與BI(商業(yè)智能)，是因為大數據應用與BI、數據挖掘等，并沒有一個相對完整的認知。

　　BI(BusinessIntelligence)即商務智能，它是一套完整的解決方案，用來將企業(yè)中現有的數據進行有效的整合，快速準確的提供報表并提出決策依據，幫助企業(yè)做出明智的業(yè)務經營決策。

　　伴隨著BI的發(fā)展，是ETL，數據集成平臺等概念的提出。ETL，Extraction Transformation Loading，數據提取、轉換和加載，數據集成平臺主要功能對各種業(yè)務數據進行抽取和相關轉化，以此來滿足BI、數據倉庫對數據格式和內容挖掘的要求。

　　數據集成平臺的基礎工作與ETL有很大的相似性，其主要功能是實現不同系統(tǒng)不同格式數據地抽取，并且按照目標需求轉化成為相應的格式。數據集成開始是點對點的，慢慢地發(fā)現這種模式對于系統(tǒng)之間，不同所有權的企業(yè)數據流向以及數據標準控制很難，為此，誕生了對統(tǒng)一企業(yè)數據平臺的需求，來實現企業(yè)級之間的數據交互。

　　數據集成平臺就像網絡中Hub，可以連接所有應用系統(tǒng)，實現系統(tǒng)之間數據的互通有無。數據集成平臺以BI、數據倉庫需求而產生，現在已經跨越了最初的需求，上升到了一個更高的階段。

　　如今大數據應用更多關注非結構化數據，更多談論互聯(lián)網，Twitter、Facebook、博客等非結構化數據，如此理解大數據應用，顯然就有些走偏了。結構化數據也屬于大數據，且呈現出相同的特點和特征，如數據量大，增長越來越快，對數據處理要求高等。

　　結構化數據是廣義大數據中含金量或者價值密度最高的一部分數據，與之相比，非結構化數據含金量高但價值密度低。在Hadoop平臺出現之前，沒有人談論大數據。數據應用主要是結構化數據，多采用IBM、HP等老牌廠商的小型機或服務器設備。

　　采用傳統(tǒng)方法處理這些價值密度低的非結構化數據，被認為是不值得的，因為其產出實在是有限。Hadoop平臺出現之后，提供了一種開放的、廉價的、基于普通商業(yè)硬件的平臺，其核心是分布式大規(guī)模并行處理，從而為非結構化數據處理創(chuàng)造條件。

　　大數據應用的數據來源應該包括結構化數據，如各種數據庫、各種結構化文件、消息隊列和應用系統(tǒng)數據等，其次才是非結構化數據，又可以進一步細分為兩部分，一是社交媒體，如Twitter、Facebook、博客等產生的數據，包括用戶點擊的習慣/特點，發(fā)表的評論，評論的特點，網民之間的關系等，這些都構成了大數據來源。另外一部分數據，也是數據量比較大的數據，就是機器設備以及傳感器所產生的數據。以電信行業(yè)為例，CDR、呼叫記錄，這些數據都屬于原始傳感器數據，主要來自路由器或者基站。此外，手機的置傳感器，各種手持設備、門禁系統(tǒng)，攝像頭、ATM機等，其數據量也非常巨大。

　　對于分析大數據的工具，目前所有的分析工具都側重于結構化分析，例如針對社交媒體評論方向的分析，根據特定的詞頻或者語義，通過統(tǒng)計正面/負面評論的比例，來確定評論性質。如果有一個應用系統(tǒng)是接收結構化數據的，例如一個分析系統(tǒng)，接收這些語義就可以便于分析。

　　讓大數據應用落地，其中的關鍵在于與行業(yè)應用的深度融合。

　　公安行業(yè)的視頻影像處理是一個特定應用領域，傳統(tǒng)BI、ETL工具拿這些數據沒有辦法，采用分布式Hadoop進行處理能夠帶來很好的效益，因為Hadoop可以處理數據量足夠大。公安行業(yè)實際上已采集了大量視頻影像數據，利用這些數據，可以追蹤一個嫌疑犯的行蹤，什么時間在全國哪些地區(qū)出現過。這些應用不可能單純依靠人的力量，需要借助人臉識別、圖像識別技術、模式處理，數據壓縮等技術，需要海量處理軟件，抓出相關特征，幫助公安人員提高工作效率。

　　在電信行業(yè)，計費系統(tǒng)實際上是對各種數據進行整合后的結果，是一個縮小的數據。借助大數據應用，運營商可以原始大數據進行分析，例如分析傳感器數據是否有異常，從而判斷設備異常等，這些都是一些用傳統(tǒng)BI工具無法實現的分析，其結果往往會出乎意料，幫助運營商提高服務水平以及用戶的滿意度。

　　在互聯(lián)網行業(yè)，通過分析手機上網軌跡，可以分析了解客戶群，了解用戶的偏好，此外，獲取地理位置的信息，也具有特定價值。

　　從這些行業(yè)大數據應用分析來看，一個是視頻影像處理，一個是日志分析，另外一個是處理特定文件格式的分析處理，彼此之間顯然沒有任何通用性的特點，其共同點就是利用了廉價的大數據處理平臺。