大數(shù)據(jù)下的用戶行為分析

1. Consumer behaviour is the study of when，why，how and where people do or don't buy a product。
用戶行為一般指用戶通過中間資源，購買、使用和評價(jià)某種產(chǎn)品的記錄。同時(shí)輔以用戶、資源、產(chǎn)品自身及環(huán)境的信息。
用戶行為記錄一般可以表示一組屬性的集合：｛屬性1，屬性2，...，屬性N｝

2. 用戶行為分析主要是研究對象用戶的行為。數(shù)據(jù)來源包括用戶的日志信息、用戶主體信息和外界環(huán)境信息。通過特定的工具對用戶在互聯(lián)網(wǎng)/移動(dòng)互聯(lián)網(wǎng)上的行為進(jìn)行記錄，記錄的信息通常稱為用戶日志。
數(shù)據(jù)內(nèi)容：
（1）網(wǎng)站日志：用戶在訪問某個(gè)目標(biāo)網(wǎng)站時(shí)，網(wǎng)站記錄的用戶相關(guān)行為信息；
（2）搜索引擎日志：搜索引擎日志系統(tǒng)所記錄的用戶在搜索引擎上的相關(guān)行為信息；
（3）用戶瀏覽日志：通過特定的工具和途徑記錄用戶所記錄的用戶在該搜索引擎上的相關(guān)行為信息；
（4）用戶主體數(shù)據(jù)：如用戶群的年齡、受教育程度、興趣愛好等；
（5）外界環(huán)境數(shù)據(jù)：如移動(dòng)互聯(lián)網(wǎng)流量、手機(jī)上網(wǎng)用戶增長、自費(fèi)套餐等；
數(shù)據(jù)特點(diǎn)：
（1）大數(shù)據(jù)量/海量數(shù)據(jù)，big data；
（2）實(shí)時(shí)分析/準(zhǔn)實(shí)時(shí)分析、離線分析；
（3）由于用戶日志包含大量用戶個(gè)人信息，為避免涉及過多的用戶隱私，日志工具通常對用戶個(gè)人信息進(jìn)行加密，不涉及具體用戶行為的細(xì)節(jié)內(nèi)容，保護(hù)用戶隱私；
（4）日志信息通常含有較多的噪音，因此，基于個(gè)人行為信息分析得到的結(jié)論常常存在著很大的不可靠性。
3. 用戶行為分析平臺(tái)主要面臨海量數(shù)據(jù)處理困難、分析模型算法復(fù)雜、建設(shè)和運(yùn)營成本高昂等方面的技術(shù)難點(diǎn)和挑戰(zhàn)。
海量數(shù)據(jù)處理困難：
（1）問題：面臨TB甚至PB級的海量數(shù)據(jù)，傳統(tǒng)關(guān)系數(shù)據(jù)庫存儲(chǔ)尚可，但對OLAP分析效仿低下；
（2）難點(diǎn)：如何可實(shí)現(xiàn)可擴(kuò)展的數(shù)據(jù)存儲(chǔ)、靈活快捷的數(shù)據(jù)訪問？
（3）思路：利用Nosql數(shù)據(jù)庫解決大數(shù)據(jù)存儲(chǔ)，通過水平擴(kuò)展讀寫負(fù)載提高訪問性能；
分析模型算法復(fù)雜：
（1）問題：分析需要運(yùn)用預(yù)警預(yù)測、聚類、協(xié)同過濾等數(shù)據(jù)挖掘算法，算法的編程復(fù)雜度和計(jì)算復(fù)雜度都非常大；
（2）難點(diǎn)：如何實(shí)現(xiàn)分析模型，并提供實(shí)時(shí)高速的復(fù)雜分析；
（3）思路：改造開源的數(shù)據(jù)挖掘模型庫，并運(yùn)用Hadoop等并行計(jì)算框架；
建設(shè)和運(yùn)維成本高昂：
（1）問題：傳統(tǒng)數(shù)據(jù)庫和分析軟件進(jìn)行海量數(shù)據(jù)分析將導(dǎo)致天價(jià)的軟件授權(quán)許可費(fèi)用；外部數(shù)據(jù)分析服務(wù)同樣價(jià)格昂貴，并且面臨安全性和靈活性局限；
（2）難點(diǎn)：如何低成本高效率的建設(shè)和運(yùn)維系統(tǒng)？
（3）思路：基于可靠的開源解決方案構(gòu)建獨(dú)立自主經(jīng)濟(jì)靈活的分析平臺(tái)。
4. Hadoop是基于Google有關(guān)大數(shù)據(jù)的論文實(shí)現(xiàn)的開源項(xiàng)目，最初的框架由Doug Cutting在2005年提出，目前是由Apache維護(hù)的開源項(xiàng)目。從最初到現(xiàn)在，Hadoop系統(tǒng)在7年中開發(fā)完成了一系列重要的子項(xiàng)目，已經(jīng)形成了一個(gè)涵蓋數(shù)據(jù)存儲(chǔ)、管理和分析功能的較為完整的大數(shù)據(jù)生態(tài)系統(tǒng)，成為大數(shù)據(jù)存儲(chǔ)與處理領(lǐng)域地位最重要、應(yīng)用最廣泛的開源框架。
核心組件：
（1）MapReduce：
· Hadoop的分析式并行處理框架；
· 實(shí)現(xiàn)對HDFS上海量數(shù)據(jù)的批量分析；
（2）HDFS：
· Hadoop的一個(gè)分布式文件系統(tǒng)；
· 高容錯(cuò)性，部署在低廉商業(yè)硬件；
· 提供高吞吐量，適合批量處理；
Hadoop是運(yùn)行在大量通常計(jì)算單位上提供海量數(shù)據(jù)存儲(chǔ)與并行計(jì)算的平臺(tái)框架：
· 基于x86集群水平可擴(kuò)展；
· 基于MapReduce的并行計(jì)算能力；
· 設(shè)計(jì)規(guī)模：PB級的數(shù)據(jù)量，數(shù)千臺(tái)計(jì)算節(jié)點(diǎn)；
5. Hadoop的優(yōu)勢：
（1）高可靠性：
· 按位存儲(chǔ)和處理數(shù)據(jù)的能力值得信賴；
（2）高擴(kuò)展性：
· 可以管理數(shù)以千計(jì)的存儲(chǔ)和計(jì)算節(jié)點(diǎn)；
（3）高性能：
· 實(shí)現(xiàn)數(shù)千計(jì)算節(jié)點(diǎn)的并行計(jì)算；
（4）高容錯(cuò)性：
· 自動(dòng)備份和自動(dòng)失敗任務(wù)重起；
Hadoop的不足：
（1）性能可優(yōu)化：
· 與硬件的理論性能存在差距，具有優(yōu)化空間；
（2）可擴(kuò)展性和可靠性：
· 受單一Namenode，單一Jobtracker的設(shè)計(jì)嚴(yán)重制約，存在明顯的單點(diǎn)故障源；
· 單一的Namenode的內(nèi)容容量和性能有限，使得Hadoop集群的節(jié)點(diǎn)數(shù)量被限制到2000個(gè)左右，能支持的文件系統(tǒng)被限制在10-50PB，最多支持的文件數(shù)量大約為1.5億；
（3）欠缺各種企業(yè)特性：
· 企業(yè)的個(gè)性化需求、定制化開發(fā)和可靠的運(yùn)營維護(hù)服務(wù)；
企業(yè)版Hadoop改進(jìn)主要方向：
（1）消除單點(diǎn)故障制約；
（2）改進(jìn)MapReduce；
（3）完善數(shù)據(jù)管理和數(shù)據(jù)源整合；
（4）鏡像、快照等容災(zāi)能力；
（5）可靠的服務(wù)支持；
6. 數(shù)據(jù)挖掘算法的編程復(fù)雜度和計(jì)算復(fù)雜度都非常大，往往稱為制約分析項(xiàng)目按期完成的瓶頸，精細(xì)化運(yùn)營分析平臺(tái)利用支持Hadoop并行計(jì)算框架的開源數(shù)據(jù)挖掘模型數(shù)據(jù)庫Mahout，實(shí)現(xiàn)了數(shù)據(jù)挖掘算法的快速實(shí)施和高效表現(xiàn)。基于這些經(jīng)驗(yàn)，未來我們將研究整合其他的開源算法庫（如Weka和R等），以及商業(yè)算法庫，以保證分析的精確性和性能。
利用Mahout的聚類和協(xié)同過濾算法庫的實(shí)現(xiàn)價(jià)值評估分析和智能推薦引擎。

7. 用戶行為分析平臺(tái)建立了大量的分析主題，分析結(jié)果的呈現(xiàn)能力對平臺(tái)的應(yīng)用效能影響重大。利用研制管理決策支持系統(tǒng)的經(jīng)驗(yàn)，我們可以提供靈活可制定的報(bào)表編制和數(shù)據(jù)展現(xiàn)方式，并建立了主動(dòng)推送和移動(dòng)跨平臺(tái)訪問結(jié)合的數(shù)據(jù)訪問能力，提高分析材料的生成和呈現(xiàn)速度。