用友UAP技術(shù):企業(yè)構(gòu)建大數(shù)據(jù)的四部曲_數(shù)據(jù)分析師

在傳統(tǒng)的消費(fèi)年代，商家對(duì)消費(fèi)者的購(gòu)買(mǎi)行為分析止于購(gòu)買(mǎi)即可。而當(dāng)移動(dòng)互聯(lián)網(wǎng)出現(xiàn)之后，消費(fèi)者購(gòu)買(mǎi)后又多了一個(gè)動(dòng)作，即分享，從而導(dǎo)致消費(fèi)習(xí)慣的改變。消費(fèi)市場(chǎng)決定著商家的產(chǎn)品和整體策略，因此，在社會(huì)化大數(shù)據(jù)爆炸的年代，各行業(yè)企業(yè)不得不關(guān)注這些大數(shù)據(jù)，并提高其利用率。

　　如何對(duì)這些數(shù)據(jù)進(jìn)行整理分析？以獲得市場(chǎng)的真實(shí)聲音，了解客戶的切實(shí)需求。企業(yè)不禁陷于困擾?！皶诚隝T講堂”近日組織了關(guān)于大數(shù)據(jù)的在線討論，用友UAP數(shù)據(jù)平臺(tái)產(chǎn)品部高級(jí)軟件工程師張欣從他的項(xiàng)目經(jīng)驗(yàn)分享了，企業(yè)如何構(gòu)建大數(shù)據(jù)，處理大數(shù)據(jù)、以及如何應(yīng)用大數(shù)據(jù)，從而利用大數(shù)據(jù)帶來(lái)商業(yè)價(jià)值。

　　張欣的分享來(lái)源于他在用友UAP UDH大數(shù)據(jù)處理平臺(tái)研發(fā)過(guò)程中總結(jié)的技術(shù)以及項(xiàng)目經(jīng)驗(yàn)。UAP UDH可以快速整合，存儲(chǔ)，集中管理不同類(lèi)型的海量數(shù)據(jù)，如非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)或結(jié)構(gòu)化數(shù)據(jù)。以提供批量和實(shí)時(shí)數(shù)據(jù)處理、數(shù)據(jù)分析等服務(wù)。

用友UAP UDH大數(shù)據(jù)處理平臺(tái)工作流程

　　很多企業(yè)并不是十分了解大數(shù)據(jù)，也不清楚該如何構(gòu)建大數(shù)據(jù)平臺(tái)。張欣表示，對(duì)于傳統(tǒng)企業(yè)而言，做大數(shù)據(jù)之前應(yīng)該有個(gè)具體的計(jì)劃，分步驟進(jìn)行。大體可分為四步：

　　第一，建立數(shù)據(jù)化計(jì)劃，實(shí)現(xiàn)數(shù)據(jù)的錄入和存儲(chǔ)。企業(yè)最先需要考慮的是，需要保存哪種類(lèi)型的數(shù)據(jù)。各個(gè)公司因業(yè)務(wù)模式的不同，需要涉及的數(shù)據(jù)也不同，是更加關(guān)注產(chǎn)品還是企業(yè)運(yùn)營(yíng)亦或是人力的數(shù)據(jù)資源，這些問(wèn)題需要在建立數(shù)據(jù)計(jì)劃之初就做好考量。但涉及客戶體驗(yàn)的數(shù)據(jù)，比如家電的零售賣(mài)場(chǎng)，客戶所使用的交通工具、是否有老人小孩的陪同、看了哪些產(chǎn)品、最后買(mǎi)了什么等，這種客戶素描形式的數(shù)據(jù)需要企業(yè)特別重視。或許當(dāng)前這些數(shù)據(jù)還沒(méi)有納入到業(yè)務(wù)體系的審核，但在傳統(tǒng)企業(yè)比拼客戶體驗(yàn)和服務(wù)意識(shí)的未來(lái)，這些數(shù)據(jù)經(jīng)過(guò)挖掘和分析后將產(chǎn)生巨大的價(jià)值。

　　第二，建立數(shù)據(jù)管理和應(yīng)用平臺(tái)。一方面是在IT基礎(chǔ)設(shè)施上建立良好的數(shù)據(jù)處理結(jié)構(gòu)，比如數(shù)據(jù)分布式存儲(chǔ)、Hadoop等。另一方面，企業(yè)要建立自己的數(shù)據(jù)管理和應(yīng)用平臺(tái)，包含數(shù)據(jù)的采集、數(shù)據(jù)庫(kù)架構(gòu)、分析模塊、API出口等。需要注意的是，數(shù)據(jù)管理和應(yīng)用平臺(tái)的建立必須從公司業(yè)務(wù)出發(fā)，建設(shè)適合自己的平臺(tái)。

　　而在數(shù)據(jù)中心建設(shè)方面，隨著云計(jì)算和數(shù)據(jù)中心的出現(xiàn)，外部數(shù)據(jù)中心的成本已經(jīng)大幅下降，數(shù)據(jù)存儲(chǔ)的費(fèi)用也不再是障礙，對(duì)于很多企業(yè)來(lái)說(shuō)建立自己的數(shù)據(jù)中心并無(wú)必要。

　　第三，量體裁衣建立數(shù)據(jù)團(tuán)隊(duì)。對(duì)于大型企業(yè)而言，自建數(shù)據(jù)挖掘的團(tuán)隊(duì)，無(wú)論是在成本控制還是業(yè)務(wù)響應(yīng)機(jī)制上都相對(duì)有利。然而對(duì)于中小型企業(yè)來(lái)說(shuō)，自建團(tuán)隊(duì)有時(shí)候并無(wú)必要，對(duì)這類(lèi)型企業(yè)而言最重要的是將大數(shù)據(jù)思維融入到企業(yè)的日常運(yùn)營(yíng)之中。

　　另外，張欣表示，企業(yè)應(yīng)為團(tuán)隊(duì)培養(yǎng)一些正確的數(shù)據(jù)理念，比如，數(shù)據(jù)的形式是多種多樣的；數(shù)據(jù)的作用是用來(lái)預(yù)測(cè)；利用分布式存儲(chǔ)計(jì)算搭建數(shù)據(jù)處理結(jié)構(gòu)；考量數(shù)據(jù)的外部影響，或者搜索是否存在影響企業(yè)發(fā)展的外部數(shù)據(jù)。

　　第四，定制好外部數(shù)據(jù)戰(zhàn)略。有哪些外部數(shù)據(jù)會(huì)影響企業(yè)的業(yè)務(wù)發(fā)展?比如競(jìng)爭(zhēng)品牌的售價(jià)、銷(xiāo)售策略等。這些都需要提前搜尋和沉淀。建立外部數(shù)據(jù)計(jì)劃，企業(yè)可以通過(guò)公共渠道或者數(shù)據(jù)交換的方法來(lái)進(jìn)行。

用友UAP UDH大數(shù)據(jù)處理平臺(tái)的構(gòu)成

　　當(dāng)企業(yè)的大數(shù)據(jù)基礎(chǔ)工作都準(zhǔn)備就緒之后，就可以對(duì)這些數(shù)據(jù)進(jìn)行有針對(duì)性的管理了。依照數(shù)據(jù)收集、收集存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)呈現(xiàn)這樣一個(gè)順序來(lái)進(jìn)行。

　　首先，數(shù)據(jù)收集。要對(duì)來(lái)自網(wǎng)絡(luò)包括物聯(lián)網(wǎng)和機(jī)構(gòu)信息系統(tǒng)的數(shù)據(jù)附上時(shí)空標(biāo)志，去偽存真，盡可能收集異源甚至是異構(gòu)的數(shù)據(jù)，必要時(shí)還可與歷史數(shù)據(jù)對(duì)照，多角度驗(yàn)證數(shù)據(jù)的全面性和可信性。

　　其次，數(shù)據(jù)存儲(chǔ)。要達(dá)到低成本、低能耗、高可靠性目標(biāo)，通常要用到冗余配置、分布化和云計(jì)算技術(shù)，在存儲(chǔ)時(shí)要按照一定規(guī)則對(duì)數(shù)據(jù)進(jìn)行分類(lèi)，通過(guò)過(guò)濾和去重，減少存儲(chǔ)量，同時(shí)加入便于日后檢索的標(biāo)簽。

　　然后，數(shù)據(jù)處理。有些行業(yè)的數(shù)據(jù)涉及上百個(gè)參數(shù)，其復(fù)雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身，更體現(xiàn)在多源異構(gòu)、多實(shí)體和多空間之間的交互動(dòng)態(tài)性，難以用傳統(tǒng)的方法描述與度量，處理的復(fù)雜度很大，需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理，利用上下文關(guān)聯(lián)進(jìn)行語(yǔ)義分析，從大量動(dòng)態(tài)而且可能是模棱兩可的數(shù)據(jù)中綜合信息，并導(dǎo)出可理解的內(nèi)容。

　　最后，結(jié)果的可視化呈現(xiàn)，使結(jié)果更直觀以便于洞察。目前，盡管計(jì)算機(jī)智能化有了很大進(jìn)步，但還只能針對(duì)小規(guī)模、有結(jié)構(gòu)或類(lèi)結(jié)構(gòu)的數(shù)據(jù)進(jìn)行分析，談不上深層次的數(shù)據(jù)挖掘，現(xiàn)有的數(shù)據(jù)挖掘算法在不同行業(yè)中難以通用。

用友UAP UDH功能——系統(tǒng)監(jiān)控

　　有很多大數(shù)據(jù)平臺(tái)就是依照以上四個(gè)步驟的順序來(lái)進(jìn)行企業(yè)大數(shù)據(jù)處理工作的。比如用友UAP UDH，它可以快速整合、存儲(chǔ)、集中管理不同類(lèi)型的海量數(shù)據(jù)；提供批量和實(shí)時(shí)數(shù)據(jù)處理服務(wù)；與數(shù)據(jù)集成等產(chǎn)品結(jié)合為構(gòu)建企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)提供大數(shù)據(jù)平臺(tái)支撐；結(jié)合商業(yè)智能產(chǎn)品和挖掘可視化產(chǎn)品，提供數(shù)據(jù)分析服務(wù)；提供平臺(tái)中各服務(wù)組件的管理和系統(tǒng)運(yùn)行監(jiān)控等。構(gòu)建于UDH的可靠存儲(chǔ)以及數(shù)據(jù)的批量和實(shí)時(shí)處理能力，還可以為企業(yè)提供基于搜索引擎，語(yǔ)義分析的精準(zhǔn)、全面、自動(dòng)化的監(jiān)測(cè)和分析。

　　張欣介紹，用友UAP UDH已經(jīng)做出了一個(gè)應(yīng)用——輿情信息管理系統(tǒng)。通過(guò)系統(tǒng)可以對(duì)企業(yè)的各種維度的輿情信息進(jìn)行監(jiān)控，收集競(jìng)爭(zhēng)對(duì)手的情報(bào)，行業(yè)的發(fā)展動(dòng)態(tài)等數(shù)據(jù)變成自己的報(bào)告。據(jù)了解，目前用友集團(tuán)UAP中心目前已用該自主研發(fā)的輿情信息系統(tǒng)替代了之前的第三方平臺(tái)服務(wù)。張欣告訴記者，UAP UDH還將會(huì)把輿情信息管理作為一項(xiàng)服務(wù)對(duì)外提供。