大數(shù)據(jù)下的用戶行為分析

1. Consumer behaviour is the study of when，why，how and where people do or don't buy a product。
用戶行為一般指用戶通過中間資源，購買、使用和評價某種產(chǎn)品的記錄。同時輔以用戶、資源、產(chǎn)品自身及環(huán)境的信息。
用戶行為記錄一般可以表示一組屬性的集合：｛屬性1，屬性2，...，屬性N｝

2. 用戶行為分析主要是研究對象用戶的行為。數(shù)據(jù)來源包括用戶的日志信息、用戶主體信息和外界環(huán)境信息。通過特定的工具對用戶在互聯(lián)網(wǎng)/移動互聯(lián)網(wǎng)上的行為進行記錄，記錄的信息通常稱為用戶日志。
數(shù)據(jù)內(nèi)容：
（1）網(wǎng)站日志：用戶在訪問某個目標網(wǎng)站時，網(wǎng)站記錄的用戶相關行為信息；
（2）搜索引擎日志：搜索引擎日志系統(tǒng)所記錄的用戶在搜索引擎上的相關行為信息；
（3）用戶瀏覽日志：通過特定的工具和途徑記錄用戶所記錄的用戶在該搜索引擎上的相關行為信息；
（4）用戶主體數(shù)據(jù)：如用戶群的年齡、受教育程度、興趣愛好等；
（5）外界環(huán)境數(shù)據(jù)：如移動互聯(lián)網(wǎng)流量、手機上網(wǎng)用戶增長、自費套餐等；
數(shù)據(jù)特點：
（1）大數(shù)據(jù)量/海量數(shù)據(jù)，big data；
（2）實時分析/準實時分析、離線分析；
（3）由于用戶日志包含大量用戶個人信息，為避免涉及過多的用戶隱私，日志工具通常對用戶個人信息進行加密，不涉及具體用戶行為的細節(jié)內(nèi)容，保護用戶隱私；
（4）日志信息通常含有較多的噪音，因此，基于個人行為信息分析得到的結論常常存在著很大的不可靠性。
3. 用戶行為分析平臺主要面臨海量數(shù)據(jù)處理困難、分析模型算法復雜、建設和運營成本高昂等方面的技術難點和挑戰(zhàn)。
海量數(shù)據(jù)處理困難：
（1）問題：面臨TB甚至PB級的海量數(shù)據(jù)，傳統(tǒng)關系數(shù)據(jù)庫存儲尚可，但對OLAP分析效仿低下；
（2）難點：如何可實現(xiàn)可擴展的數(shù)據(jù)存儲、靈活快捷的數(shù)據(jù)訪問？
（3）思路：利用Nosql數(shù)據(jù)庫解決大數(shù)據(jù)存儲，通過水平擴展讀寫負載提高訪問性能；
分析模型算法復雜：
（1）問題：分析需要運用預警預測、聚類、協(xié)同過濾等數(shù)據(jù)挖掘算法，算法的編程復雜度和計算復雜度都非常大；
（2）難點：如何實現(xiàn)分析模型，并提供實時高速的復雜分析；
（3）思路：改造開源的數(shù)據(jù)挖掘模型庫，并運用Hadoop等并行計算框架；
建設和運維成本高昂：
（1）問題：傳統(tǒng)數(shù)據(jù)庫和分析軟件進行海量數(shù)據(jù)分析將導致天價的軟件授權許可費用；外部數(shù)據(jù)分析服務同樣價格昂貴，并且面臨安全性和靈活性局限；
（2）難點：如何低成本高效率的建設和運維系統(tǒng)？
（3）思路：基于可靠的開源解決方案構建獨立自主經(jīng)濟靈活的分析平臺。
4. Hadoop是基于Google有關大數(shù)據(jù)的論文實現(xiàn)的開源項目，最初的框架由Doug Cutting在2005年提出，目前是由Apache維護的開源項目。從最初到現(xiàn)在，Hadoop系統(tǒng)在7年中開發(fā)完成了一系列重要的子項目，已經(jīng)形成了一個涵蓋數(shù)據(jù)存儲、管理和分析功能的較為完整的大數(shù)據(jù)生態(tài)系統(tǒng)，成為大數(shù)據(jù)存儲與處理領域地位最重要、應用最廣泛的開源框架。
核心組件：
（1）MapReduce：
· Hadoop的分析式并行處理框架；
· 實現(xiàn)對HDFS上海量數(shù)據(jù)的批量分析；
（2）HDFS：
· Hadoop的一個分布式文件系統(tǒng)；
· 高容錯性，部署在低廉商業(yè)硬件；
· 提供高吞吐量，適合批量處理；
Hadoop是運行在大量通常計算單位上提供海量數(shù)據(jù)存儲與并行計算的平臺框架：
· 基于x86集群水平可擴展；
· 基于MapReduce的并行計算能力；
· 設計規(guī)模：PB級的數(shù)據(jù)量，數(shù)千臺計算節(jié)點；
5. Hadoop的優(yōu)勢：
（1）高可靠性：
· 按位存儲和處理數(shù)據(jù)的能力值得信賴；
（2）高擴展性：
· 可以管理數(shù)以千計的存儲和計算節(jié)點；
（3）高性能：
· 實現(xiàn)數(shù)千計算節(jié)點的并行計算；
（4）高容錯性：
· 自動備份和自動失敗任務重起；
Hadoop的不足：
（1）性能可優(yōu)化：
· 與硬件的理論性能存在差距，具有優(yōu)化空間；
（2）可擴展性和可靠性：
· 受單一Namenode，單一Jobtracker的設計嚴重制約，存在明顯的單點故障源；
· 單一的Namenode的內(nèi)容容量和性能有限，使得Hadoop集群的節(jié)點數(shù)量被限制到2000個左右，能支持的文件系統(tǒng)被限制在10-50PB，最多支持的文件數(shù)量大約為1.5億；
（3）欠缺各種企業(yè)特性：
· 企業(yè)的個性化需求、定制化開發(fā)和可靠的運營維護服務；
企業(yè)版Hadoop改進主要方向：
（1）消除單點故障制約；
（2）改進MapReduce；
（3）完善數(shù)據(jù)管理和數(shù)據(jù)源整合；
（4）鏡像、快照等容災能力；
（5）可靠的服務支持；
6. 數(shù)據(jù)挖掘算法的編程復雜度和計算復雜度都非常大，往往稱為制約分析項目按期完成的瓶頸，精細化運營分析平臺利用支持Hadoop并行計算框架的開源數(shù)據(jù)挖掘模型數(shù)據(jù)庫Mahout，實現(xiàn)了數(shù)據(jù)挖掘算法的快速實施和高效表現(xiàn)。基于這些經(jīng)驗，未來我們將研究整合其他的開源算法庫（如Weka和R等），以及商業(yè)算法庫，以保證分析的精確性和性能。
利用Mahout的聚類和協(xié)同過濾算法庫的實現(xiàn)價值評估分析和智能推薦引擎。

7. 用戶行為分析平臺建立了大量的分析主題，分析結果的呈現(xiàn)能力對平臺的應用效能影響重大。利用研制管理決策支持系統(tǒng)的經(jīng)驗，我們可以提供靈活可制定的報表編制和數(shù)據(jù)展現(xiàn)方式，并建立了主動推送和移動跨平臺訪問結合的數(shù)據(jù)訪問能力，提高分析材料的生成和呈現(xiàn)速度。