關(guān)于用戶行為幾類大數(shù)據(jù)計(jì)算_數(shù)據(jù)分析師

用戶行為類數(shù)據(jù)是最常見(jiàn)的大數(shù)據(jù)形式，比如電信的通話記錄、網(wǎng)站的訪問(wèn)日志、應(yīng)用商店的app下載記錄、銀行的賬戶信息、機(jī)頂盒的觀看記錄、股票的交易記錄、保險(xiǎn)業(yè)的保單信息，連鎖超市會(huì)員的購(gòu)物信息、交通違法信息、醫(yī)療就診記錄。

用戶行為類數(shù)據(jù)的特點(diǎn)在于用戶數(shù)量龐大，但每個(gè)用戶的行為數(shù)量較小，針對(duì)用戶行為的計(jì)算較為復(fù)雜，用戶之間的關(guān)聯(lián)計(jì)算相對(duì)較少。

用戶數(shù)量龐大。通話記錄中的電話號(hào)碼、訪問(wèn)日志中的用戶編號(hào)、賬戶信息中的銀行賬戶、交易記錄中股票賬戶、保單信息中的被保險(xiǎn)人，這些都是用戶行為類數(shù)據(jù)中的用戶。用戶的數(shù)量通常都很龐大，多的可達(dá)億級(jí)或更多，少的也有百萬(wàn)級(jí)。

每個(gè)用戶的行為數(shù)量較小。相對(duì)于龐大的用戶數(shù)量，每個(gè)用戶的行為通常較少。對(duì)單個(gè)電話號(hào)碼來(lái)說(shuō)，平均每月的通話記錄只有數(shù)百條，每年也不超過(guò)一萬(wàn)條。即使是網(wǎng)站的活躍用戶，他們每天最多也只能產(chǎn)生上百條行為記錄，每年不超過(guò)十萬(wàn)條。

用戶行為的計(jì)算較為復(fù)雜。計(jì)算用戶的兩次登錄間隔天數(shù)、反復(fù)購(gòu)買的商品、累積在線時(shí)間，這些都是針對(duì)用戶行為的計(jì)算，通常具有一定的復(fù)雜性。

用戶之間的關(guān)聯(lián)計(jì)算較少。用戶的行為相對(duì)獨(dú)立，一般不需要知道其他用戶即可實(shí)現(xiàn)計(jì)算。相應(yīng)的，用戶之間的關(guān)聯(lián)計(jì)算則較少，比如：某人通話記錄中接聽(tīng)電話的一方的通話時(shí)長(zhǎng)；社交網(wǎng)站上某個(gè)用戶的朋友購(gòu)買了哪些商品，這些計(jì)算存在但不多。

根據(jù)用戶行為類大數(shù)據(jù)的特點(diǎn)不難看出，其最直觀最容易寫(xiě)出的算法可以這樣設(shè)計(jì)：每次將某一用戶的所有數(shù)據(jù)一次性加載到內(nèi)存中來(lái)計(jì)算，而不要反復(fù)訪問(wèn)硬盤(pán)讀取某個(gè)用戶的部分?jǐn)?shù)據(jù)，也不要將大量用戶的數(shù)據(jù)同時(shí)加載到內(nèi)存中。

將某一用戶的所有數(shù)據(jù)加載到內(nèi)存中來(lái)計(jì)算。這樣做是因?yàn)橛脩糁g的關(guān)聯(lián)計(jì)算少，而單個(gè)用戶行為的計(jì)算較為復(fù)雜，計(jì)算同一個(gè)用戶的數(shù)據(jù)可以讓程序員減少不相干數(shù)據(jù)的干擾。比如計(jì)算某用戶反復(fù)購(gòu)買的商品。首先，將某用戶的數(shù)據(jù)按商品分組匯總出每件商品的購(gòu)買次數(shù)；再按次數(shù)逆序排序；過(guò)濾掉只購(gòu)買了一次的商品，剩下的就是反復(fù)購(gòu)買的商品及購(gòu)買次數(shù)。再比如計(jì)算某用戶的累積在線時(shí)長(zhǎng)。該用戶會(huì)訪問(wèn)多次，每次都會(huì)形成一對(duì)登錄和退出，因此先要過(guò)濾出所有的登錄和退出記錄；再針對(duì)每一次訪問(wèn)，用退出時(shí)刻減去登錄時(shí)刻，這就是單次時(shí)長(zhǎng)；將多個(gè)單次時(shí)長(zhǎng)相加，就是累積時(shí)長(zhǎng)。

另外，因?yàn)槊總€(gè)用戶的行為數(shù)量相對(duì)較少，完全可以全部加載進(jìn)內(nèi)存進(jìn)行自由靈活的計(jì)算。

不要反復(fù)訪問(wèn)硬盤(pán)讀取用戶的部分?jǐn)?shù)據(jù)。由于用戶的行為計(jì)算比較復(fù)雜，同一個(gè)用戶的各條數(shù)據(jù)之間是存在關(guān)聯(lián)關(guān)系的，讀取一個(gè)用戶的部分記錄去計(jì)算會(huì)導(dǎo)致算法難寫(xiě)，而且性能很低。

不要將大量用戶的數(shù)據(jù)同時(shí)加載到內(nèi)存中。由于用戶數(shù)量龐大，顯然不可能將全部用戶的數(shù)據(jù)一次性加載到內(nèi)存中來(lái)，必須要分批讀取。分批的標(biāo)準(zhǔn)上面已經(jīng)分析出來(lái)了：按用戶分批。至于用戶之間計(jì)算結(jié)果的合并，可以留到最后一步再做，由于用戶之間關(guān)聯(lián)計(jì)算少，這個(gè)合并非常簡(jiǎn)單。比如計(jì)算所有用戶反復(fù)購(gòu)買的商品或累計(jì)在線時(shí)長(zhǎng)，只要計(jì)算出每個(gè)用戶反復(fù)購(gòu)買的商品或累計(jì)的在線時(shí)長(zhǎng)，再將所有用戶的計(jì)算結(jié)果簡(jiǎn)單合并就可以。另外還可以看出，由于是用戶之間的關(guān)聯(lián)少，因此此類算法很適合使用并行計(jì)算，即每個(gè)節(jié)點(diǎn)機(jī)分配一定數(shù)量的用戶，這樣既不會(huì)增加難度又能大幅提高性能。

將同一用戶的所有數(shù)據(jù)加載到內(nèi)存中來(lái)計(jì)算，這就需要事先將數(shù)據(jù)按用戶分成多個(gè)組。比如按零售店會(huì)員分組，每個(gè)組就是某個(gè)會(huì)員對(duì)應(yīng)的多條采購(gòu)記錄；或按用戶編號(hào)分，每個(gè)組是某個(gè)用戶對(duì)應(yīng)的網(wǎng)頁(yè)訪問(wèn)記錄。分組的實(shí)質(zhì)是排序，即將數(shù)據(jù)按用戶排序，使同一個(gè)用戶的數(shù)據(jù)挨在一起?？梢韵胂蟮剑瑢?duì)億級(jí)的用戶、每用戶萬(wàn)級(jí)的數(shù)據(jù)排序?qū)⑹莻€(gè)非常緩慢的過(guò)程。事先排序可以加速分組的過(guò)程。

將數(shù)據(jù)事先按用戶排序，不同的計(jì)算目標(biāo)都使用同樣排序好的數(shù)據(jù)。將排序的時(shí)間花在前面而且只花一次，這就可以避免計(jì)算時(shí)的大排序，參數(shù)不同的同一個(gè)計(jì)算目標(biāo)也可以重復(fù)計(jì)算而不必重復(fù)排序，不同的計(jì)算目標(biāo)還可以省去相同的排序過(guò)程。

但是，不幸的是，一般的計(jì)算工具難以實(shí)現(xiàn)上述算法，無(wú)法有效利用事先排序的數(shù)據(jù)。比如SQL（含Hive）和MapRreduce。

SQL的困難。SQL的集合是無(wú)序的，事先按索引重新插入排好序的數(shù)據(jù)往往不能被優(yōu)化器正確優(yōu)化，具有很大的偶然性，無(wú)法保證查詢時(shí)可以按排好的次序查詢出需要的數(shù)據(jù)。

Hive具有SQL的語(yǔ)法風(fēng)格，同時(shí)也支持并行計(jì)算，但它卻并不適合用戶行為類大數(shù)據(jù)計(jì)算。這是因?yàn)橛脩粜袨榈挠?jì)算較為復(fù)雜，需要窗口函數(shù)甚至存儲(chǔ)過(guò)程來(lái)解決，而Hive只支持基本的SQL語(yǔ)法，不支持窗口函數(shù)和存儲(chǔ)過(guò)程。

用戶行為的計(jì)算之所以較為復(fù)雜，是因?yàn)樾枰獙?duì)同一個(gè)用戶的多條數(shù)據(jù)之間進(jìn)行計(jì)算，這種計(jì)算大多和順序相關(guān)。SQL對(duì)有序計(jì)算的支持有限，只有窗口函數(shù)可以實(shí)現(xiàn)部分簡(jiǎn)單的有序計(jì)算，但對(duì)于復(fù)雜的業(yè)務(wù)邏輯仍然顯得非常繁瑣，而且經(jīng)常因?yàn)榇笈判蛟斐傻拖碌男阅?。使用程序性的存?chǔ)過(guò)程編寫(xiě)復(fù)雜代碼可以實(shí)現(xiàn)復(fù)雜的有序計(jì)算，但很難復(fù)用SQL的集合運(yùn)算能力，所有處理都有從基礎(chǔ)運(yùn)算自己編寫(xiě)，而且其性能通常比SQL更低。

MapReduce的困難。MapReduce支持大數(shù)據(jù)并行計(jì)算，同時(shí)它是用程序性的JAVA語(yǔ)言來(lái)編寫(xiě)的，這一點(diǎn)和存儲(chǔ)過(guò)程有相似性。但是，MapReduce所使用的 JAVA語(yǔ)言缺乏針對(duì)結(jié)構(gòu)數(shù)據(jù)計(jì)算的類庫(kù)，所有的底層功能都要自己實(shí)現(xiàn)：分組、排序、查詢、關(guān)聯(lián)等等，對(duì)于有序計(jì)算這較復(fù)雜的算法所要書(shū)寫(xiě)的代碼更多、編寫(xiě)難度更大、維護(hù)更加困難。同樣的，MapReduce也無(wú)法利用已經(jīng)排序好的數(shù)據(jù)，在shuffle階段還需要得做大排序。

SQL和MapReduce無(wú)法利用事先排序好的數(shù)據(jù)，難以高性能地將同一用戶的所有數(shù)據(jù)加載到內(nèi)存中來(lái)計(jì)算，用戶類大數(shù)據(jù)計(jì)算因此會(huì)遇到性能、擴(kuò)展性和開(kāi)發(fā)難度的挑戰(zhàn)。

如何利用事先排序好的數(shù)據(jù)，以此簡(jiǎn)化代碼書(shū)寫(xiě)難度并提高計(jì)算性能？

集算器是支持多節(jié)點(diǎn)并行計(jì)算的程序設(shè)計(jì)語(yǔ)言，并提供豐富的有序計(jì)算。如果數(shù)據(jù)事先排好序，集算器支持通過(guò)游標(biāo)來(lái)按組讀取數(shù)據(jù)，每次讀取一組數(shù)據(jù)進(jìn)內(nèi)存，避免反復(fù)的外存訪問(wèn)，整個(gè)數(shù)據(jù)只要遍歷一次即可，從而使性能大大提高。針對(duì)組內(nèi)計(jì)算復(fù)雜，集算器具有完備的批量化數(shù)據(jù)計(jì)算類庫(kù)，可以輕松實(shí)現(xiàn)各類復(fù)雜的有序計(jì)算。。

集算器支持靈活自由的多節(jié)點(diǎn)并行計(jì)算，可以進(jìn)一步優(yōu)化性能。方法之一將用戶按某種方式分段，以此實(shí)現(xiàn)分布存儲(chǔ)后的高效并行處理。比如將會(huì)員零售數(shù)據(jù)按照會(huì)員編號(hào)的前兩位分成100段存儲(chǔ)于HDFS，每段存儲(chǔ)十萬(wàn)會(huì)員的一億條數(shù)據(jù)。或者將網(wǎng)站日志按照用戶ID的首字母和年份分段，每段存儲(chǔ)幾百萬(wàn)用戶的數(shù)據(jù)?；蛘邔⑼ㄔ捰涗洶凑諈^(qū)號(hào)和用戶數(shù)量合并為30段，每段存儲(chǔ)一個(gè)州或幾個(gè)州的用戶。經(jīng)過(guò)分段處理后，每段數(shù)據(jù)都是排好序的，可被節(jié)點(diǎn)機(jī)的一個(gè)線程獨(dú)立處理，這樣的并行計(jì)算性能更高。

針對(duì)上面的難點(diǎn)，下面用”每個(gè)用戶在每種產(chǎn)品上的累積在線時(shí)間”為例來(lái)說(shuō)明集算器的一般解決辦法。

大分組的困難：事先排序數(shù)據(jù)，以供多種計(jì)算目標(biāo)使用。在節(jié)點(diǎn)機(jī)運(yùn)算時(shí)可以直接按用戶分組取數(shù)，有效利用已經(jīng)有序的數(shù)據(jù)以提高性能。