用友UAP技術(shù):企業(yè)構(gòu)建大數(shù)據(jù)的四部曲_數(shù)據(jù)分析師

在傳統(tǒng)的消費年代，商家對消費者的購買行為分析止于購買即可。而當移動互聯(lián)網(wǎng)出現(xiàn)之后，消費者購買后又多了一個動作，即分享，從而導(dǎo)致消費習(xí)慣的改變。消費市場決定著商家的產(chǎn)品和整體策略，因此，在社會化大數(shù)據(jù)爆炸的年代，各行業(yè)企業(yè)不得不關(guān)注這些大數(shù)據(jù)，并提高其利用率。

　　如何對這些數(shù)據(jù)進行整理分析？以獲得市場的真實聲音，了解客戶的切實需求。企業(yè)不禁陷于困擾?！皶诚隝T講堂”近日組織了關(guān)于大數(shù)據(jù)的在線討論，用友UAP數(shù)據(jù)平臺產(chǎn)品部高級軟件工程師張欣從他的項目經(jīng)驗分享了，企業(yè)如何構(gòu)建大數(shù)據(jù)，處理大數(shù)據(jù)、以及如何應(yīng)用大數(shù)據(jù)，從而利用大數(shù)據(jù)帶來商業(yè)價值。

　　張欣的分享來源于他在用友UAP UDH大數(shù)據(jù)處理平臺研發(fā)過程中總結(jié)的技術(shù)以及項目經(jīng)驗。UAP UDH可以快速整合，存儲，集中管理不同類型的海量數(shù)據(jù)，如非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)或結(jié)構(gòu)化數(shù)據(jù)。以提供批量和實時數(shù)據(jù)處理、數(shù)據(jù)分析等服務(wù)。

用友UAP UDH大數(shù)據(jù)處理平臺工作流程

　　很多企業(yè)并不是十分了解大數(shù)據(jù)，也不清楚該如何構(gòu)建大數(shù)據(jù)平臺。張欣表示，對于傳統(tǒng)企業(yè)而言，做大數(shù)據(jù)之前應(yīng)該有個具體的計劃，分步驟進行。大體可分為四步：

　　第一，建立數(shù)據(jù)化計劃，實現(xiàn)數(shù)據(jù)的錄入和存儲。企業(yè)最先需要考慮的是，需要保存哪種類型的數(shù)據(jù)。各個公司因業(yè)務(wù)模式的不同，需要涉及的數(shù)據(jù)也不同，是更加關(guān)注產(chǎn)品還是企業(yè)運營亦或是人力的數(shù)據(jù)資源，這些問題需要在建立數(shù)據(jù)計劃之初就做好考量。但涉及客戶體驗的數(shù)據(jù)，比如家電的零售賣場，客戶所使用的交通工具、是否有老人小孩的陪同、看了哪些產(chǎn)品、最后買了什么等，這種客戶素描形式的數(shù)據(jù)需要企業(yè)特別重視?；蛟S當前這些數(shù)據(jù)還沒有納入到業(yè)務(wù)體系的審核，但在傳統(tǒng)企業(yè)比拼客戶體驗和服務(wù)意識的未來，這些數(shù)據(jù)經(jīng)過挖掘和分析后將產(chǎn)生巨大的價值。

　　第二，建立數(shù)據(jù)管理和應(yīng)用平臺。一方面是在IT基礎(chǔ)設(shè)施上建立良好的數(shù)據(jù)處理結(jié)構(gòu)，比如數(shù)據(jù)分布式存儲、Hadoop等。另一方面，企業(yè)要建立自己的數(shù)據(jù)管理和應(yīng)用平臺，包含數(shù)據(jù)的采集、數(shù)據(jù)庫架構(gòu)、分析模塊、API出口等。需要注意的是，數(shù)據(jù)管理和應(yīng)用平臺的建立必須從公司業(yè)務(wù)出發(fā)，建設(shè)適合自己的平臺。

　　而在數(shù)據(jù)中心建設(shè)方面，隨著云計算和數(shù)據(jù)中心的出現(xiàn)，外部數(shù)據(jù)中心的成本已經(jīng)大幅下降，數(shù)據(jù)存儲的費用也不再是障礙，對于很多企業(yè)來說建立自己的數(shù)據(jù)中心并無必要。

　　第三，量體裁衣建立數(shù)據(jù)團隊。對于大型企業(yè)而言，自建數(shù)據(jù)挖掘的團隊，無論是在成本控制還是業(yè)務(wù)響應(yīng)機制上都相對有利。然而對于中小型企業(yè)來說，自建團隊有時候并無必要，對這類型企業(yè)而言最重要的是將大數(shù)據(jù)思維融入到企業(yè)的日常運營之中。

　　另外，張欣表示，企業(yè)應(yīng)為團隊培養(yǎng)一些正確的數(shù)據(jù)理念，比如，數(shù)據(jù)的形式是多種多樣的；數(shù)據(jù)的作用是用來預(yù)測；利用分布式存儲計算搭建數(shù)據(jù)處理結(jié)構(gòu)；考量數(shù)據(jù)的外部影響，或者搜索是否存在影響企業(yè)發(fā)展的外部數(shù)據(jù)。

　　第四，定制好外部數(shù)據(jù)戰(zhàn)略。有哪些外部數(shù)據(jù)會影響企業(yè)的業(yè)務(wù)發(fā)展?比如競爭品牌的售價、銷售策略等。這些都需要提前搜尋和沉淀。建立外部數(shù)據(jù)計劃，企業(yè)可以通過公共渠道或者數(shù)據(jù)交換的方法來進行。

用友UAP UDH大數(shù)據(jù)處理平臺的構(gòu)成

　　當企業(yè)的大數(shù)據(jù)基礎(chǔ)工作都準備就緒之后，就可以對這些數(shù)據(jù)進行有針對性的管理了。依照數(shù)據(jù)收集、收集存儲、數(shù)據(jù)處理、數(shù)據(jù)呈現(xiàn)這樣一個順序來進行。

　　首先，數(shù)據(jù)收集。要對來自網(wǎng)絡(luò)包括物聯(lián)網(wǎng)和機構(gòu)信息系統(tǒng)的數(shù)據(jù)附上時空標志，去偽存真，盡可能收集異源甚至是異構(gòu)的數(shù)據(jù)，必要時還可與歷史數(shù)據(jù)對照，多角度驗證數(shù)據(jù)的全面性和可信性。

　　其次，數(shù)據(jù)存儲。要達到低成本、低能耗、高可靠性目標，通常要用到冗余配置、分布化和云計算技術(shù)，在存儲時要按照一定規(guī)則對數(shù)據(jù)進行分類，通過過濾和去重，減少存儲量，同時加入便于日后檢索的標簽。

　　然后，數(shù)據(jù)處理。有些行業(yè)的數(shù)據(jù)涉及上百個參數(shù)，其復(fù)雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身，更體現(xiàn)在多源異構(gòu)、多實體和多空間之間的交互動態(tài)性，難以用傳統(tǒng)的方法描述與度量，處理的復(fù)雜度很大，需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理，利用上下文關(guān)聯(lián)進行語義分析，從大量動態(tài)而且可能是模棱兩可的數(shù)據(jù)中綜合信息，并導(dǎo)出可理解的內(nèi)容。

　　最后，結(jié)果的可視化呈現(xiàn)，使結(jié)果更直觀以便于洞察。目前，盡管計算機智能化有了很大進步，但還只能針對小規(guī)模、有結(jié)構(gòu)或類結(jié)構(gòu)的數(shù)據(jù)進行分析，談不上深層次的數(shù)據(jù)挖掘，現(xiàn)有的數(shù)據(jù)挖掘算法在不同行業(yè)中難以通用。

用友UAP UDH功能——系統(tǒng)監(jiān)控

　　有很多大數(shù)據(jù)平臺就是依照以上四個步驟的順序來進行企業(yè)大數(shù)據(jù)處理工作的。比如用友UAP UDH，它可以快速整合、存儲、集中管理不同類型的海量數(shù)據(jù)；提供批量和實時數(shù)據(jù)處理服務(wù)；與數(shù)據(jù)集成等產(chǎn)品結(jié)合為構(gòu)建企業(yè)級數(shù)據(jù)倉庫提供大數(shù)據(jù)平臺支撐；結(jié)合商業(yè)智能產(chǎn)品和挖掘可視化產(chǎn)品，提供數(shù)據(jù)分析服務(wù)；提供平臺中各服務(wù)組件的管理和系統(tǒng)運行監(jiān)控等。構(gòu)建于UDH的可靠存儲以及數(shù)據(jù)的批量和實時處理能力，還可以為企業(yè)提供基于搜索引擎，語義分析的精準、全面、自動化的監(jiān)測和分析。

　　張欣介紹，用友UAP UDH已經(jīng)做出了一個應(yīng)用——輿情信息管理系統(tǒng)。通過系統(tǒng)可以對企業(yè)的各種維度的輿情信息進行監(jiān)控，收集競爭對手的情報，行業(yè)的發(fā)展動態(tài)等數(shù)據(jù)變成自己的報告。據(jù)了解，目前用友集團UAP中心目前已用該自主研發(fā)的輿情信息系統(tǒng)替代了之前的第三方平臺服務(wù)。張欣告訴記者，UAP UDH還將會把輿情信息管理作為一項服務(wù)對外提供。