大數(shù)據(jù)在互聯(lián)網(wǎng)用戶系統(tǒng)中的應(yīng)用

但是對于今日的互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)，大數(shù)據(jù)的規(guī)模和應(yīng)用深度早已不次于傳統(tǒng)的電信、民航等行業(yè)，甚至超過不少。因此筆者還是想寫些東西淺談一下互聯(lián)網(wǎng)的大數(shù)據(jù)應(yīng)用，權(quán)當(dāng)拋磚引玉，也希望更多的朋友參與交流和討論。
　　首先，第一篇想談一下互聯(lián)網(wǎng)的用戶系統(tǒng)。無論互聯(lián)網(wǎng)還是移動互聯(lián)網(wǎng)，本身具有很大的特性就是互聯(lián)，所以我們都可以稱之為互聯(lián)網(wǎng)，或者說移動互聯(lián)網(wǎng)是互聯(lián)網(wǎng)的一個(gè)子集和延伸。
　　在傳統(tǒng)的電信、民航、能源等行業(yè)，企業(yè)的客戶和主體用戶構(gòu)成都是有身份ID的。比如電信行業(yè)中身份證登記的手機(jī)卡號，比如民航用戶乘坐航班登機(jī)的身份證或護(hù)照信息等，這些信息可以作為基本的用戶身份ID,便于企業(yè)對其用戶、客戶進(jìn)行身份辨別，并對后續(xù)的用戶行為進(jìn)行跟蹤和分析。傳統(tǒng)企業(yè)所存儲的用戶信息的很大優(yōu)勢在于完整性，很多先天的比如姓名、性別、年齡甚至籍貫等真實(shí)的基礎(chǔ)身份信息都可以簡單獲得。而在互聯(lián)網(wǎng)上，用戶的訪問都是匿名的，即使用戶在接入互聯(lián)網(wǎng)的時(shí)候使用的登記信息是實(shí)名的，但那主要是提供給電信服務(wù)商和公共安全機(jī)構(gòu)備案而用。普通的互聯(lián)網(wǎng)網(wǎng)站在用戶面前是完全透明的被"圍觀"的，這個(gè)狀況在web1.0 的主要產(chǎn)品--門戶網(wǎng)站中最為典型。到了web2.0 時(shí)代，互聯(lián)網(wǎng)開始變得互動起來，用戶從簡單的匿名瀏覽，變成了可以通過注冊身份參與信息的制造和流通。這個(gè)時(shí)候，誕生了這個(gè)時(shí)代在談的互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中非常重要的一個(gè)非決定性條件--用戶身份系統(tǒng)。為什么說是"非決定性條件"呢？因?yàn)?，在這之前，大量的數(shù)據(jù)分析也是可以做的，但是由于對用戶缺乏身份缺乏甄別，因此數(shù)據(jù)分析能夠應(yīng)用的場景和得到的數(shù)據(jù)都相對很有限，但并不代表不能做大數(shù)據(jù)分析。而web2.0 的用戶身份系統(tǒng)誕生，則使互聯(lián)網(wǎng)某種程度上具有了和傳統(tǒng)行業(yè)同樣的用戶身份記錄系統(tǒng)，數(shù)據(jù)統(tǒng)計(jì)和分析都可以更精準(zhǔn)和深入。其中，以騰訊QQ、新浪UC等PC桌面產(chǎn)品為代表的互聯(lián)網(wǎng)早期產(chǎn)品，應(yīng)該是建立了互聯(lián)網(wǎng)更早的用戶身份系統(tǒng)，我們也可以看到這些系統(tǒng)在其后續(xù)的web產(chǎn)品鋪開時(shí)同樣被繼承了過來。
　　那么，互聯(lián)網(wǎng)的用戶身份系統(tǒng)，一般都具有哪些信息呢？
　　打開任何一個(gè)網(wǎng)站，我們都可以看到注冊頁面需要填寫用戶名/email,性別，年齡 等基本信息。當(dāng)然，不同的網(wǎng)站和互聯(lián)網(wǎng)產(chǎn)品有不同的用戶資料細(xì)化的程度。拿現(xiàn)在比較流行的幾款產(chǎn)品做比較，其他互聯(lián)網(wǎng)產(chǎn)品大多類似：1. 新浪微博中用戶可以填寫自己的昵稱、頭像、真實(shí)姓名、所在地、性別、生日、博客地址、email、QQ/MSN、自我介紹、用戶標(biāo)簽、教育信息、職業(yè)信息……；2.騰訊QQ客戶端上可以填寫頭像、昵稱、個(gè)性簽名、姓名、性別、英文名、生日、血型、生肖、故鄉(xiāng)、所在地、郵編、電話、學(xué)歷、職業(yè)、語言、手機(jī)……
　　看起來還真不少，那么網(wǎng)站要用戶的這些信息會被干嘛用呢？
　　這里筆者劉三德認(rèn)為主要有以下幾點(diǎn)：1. 展示自我；2.作為唯一的身份ID用作用戶身份區(qū)別；3.搜索和推薦相關(guān)；4.網(wǎng)站自身可以做用戶分析和用戶行為跟蹤。展現(xiàn)自我放到第一位是因?yàn)檫@是從產(chǎn)品滿足用戶需求的角度決定的，用戶資料的首要任務(wù)就是為了作為用戶唯一的可識別身份標(biāo)識展示自我。其次，搜索和推薦相關(guān)這一點(diǎn)筆者劉三德計(jì)劃在后續(xù)用專門的篇章來寫，此處簡單理解即可。最后一點(diǎn)，也就是本文所關(guān)注的一點(diǎn)，就是用用戶身份來做數(shù)據(jù)分析。涉及到的用戶分析主要維度為用戶資料和用戶行為。同樣，用戶行為也計(jì)劃在后續(xù)篇章專門來寫，本文著重討論一下用戶資料的分析。
　　可能行業(yè)內(nèi)的一些文章和老前輩的觀點(diǎn)，數(shù)據(jù)首先要量大、其次要有高的復(fù)雜度，才可以稱為大數(shù)據(jù)。但筆者認(rèn)為，大數(shù)據(jù)在一維的層次上不一定具有很強(qiáng)的復(fù)雜度，大部分是由最簡單的數(shù)據(jù)形式構(gòu)成。就譬如用戶資料，一個(gè)網(wǎng)站如果有一千萬的注冊用戶，如果每個(gè)用戶的資料具有6個(gè)有效字段，就是6000萬的有效數(shù)據(jù)。而將這6000萬的有效數(shù)據(jù)通過一層或者幾層簡單的統(tǒng)計(jì)疊加分析、交叉分析等，在計(jì)算上本身就具有了不小的復(fù)雜度。何況現(xiàn)今的互聯(lián)網(wǎng)產(chǎn)品，尤其社交類產(chǎn)品如FACEBOOK,騰訊QQ、新浪微博等動輒上億的注冊用戶，本身用戶系統(tǒng)就是一個(gè)非常具有價(jià)值的大數(shù)據(jù)。[page]
　　通過分析用戶系統(tǒng)可以得到什么呢？
　　當(dāng)然，用戶填寫的注冊資料中包含的資料，都是最基礎(chǔ)的分析數(shù)據(jù)。還是用數(shù)據(jù)說話，如下圖：

以上圖片來自互聯(lián)網(wǎng)
　　以上數(shù)據(jù)是第三方機(jī)構(gòu)公布的，而且都是最簡單的一維數(shù)據(jù)，我們可以看到很多家網(wǎng)站的用戶資料對比（上面引用的部分?jǐn)?shù)據(jù)來源也可為線上調(diào)查問卷等形式）。對于獨(dú)立的一個(gè)網(wǎng)站來說，用戶資料的分析當(dāng)然只是局限在自己的網(wǎng)站范圍之內(nèi)。進(jìn)入互聯(lián)網(wǎng)web2.0 時(shí)代以后，大家都開始更加重視用戶和用戶體驗(yàn)，對于網(wǎng)站自身用戶的特征進(jìn)行分析，可以更好的網(wǎng)站的用戶特性分布，方便針對網(wǎng)站的用戶群特點(diǎn)更有針對性的進(jìn)行對應(yīng)的產(chǎn)品設(shè)計(jì)和研發(fā)。比如通過了解用戶的消費(fèi)層次等，也可以更好的提供用戶消費(fèi)相關(guān)展示和服務(wù)。
　　那么，無用戶身份信息的互聯(lián)網(wǎng)是否不再大數(shù)據(jù)？--不用注冊的用戶身份系統(tǒng)的。
　　可能有的朋友會對這個(gè)話題存疑問，也可能有的朋友會驚恐，認(rèn)為隱私泄露了，其實(shí)這里的應(yīng)用也非常簡單。在類似傳統(tǒng)的web1.0 門戶類以展示為主的互聯(lián)網(wǎng)產(chǎn)品中，也是可以做數(shù)據(jù)的分析和挖掘的，而且也有比較成熟的方案。是否有朋友曾經(jīng)經(jīng)歷過以下場景：在百度上搜索汽車、查了半天汽車資料，一個(gè)小時(shí)以后再隨手打開的一個(gè)圖書閱讀網(wǎng)站上居然出現(xiàn)了"汽車廣告".其實(shí)，即使我們沒有在這些網(wǎng)站上注冊，百度等搜索引擎本身還是可以為用戶標(biāo)識一個(gè)唯一的身份信息，雖然這個(gè)身份信息只是臨時(shí)的，可能有效期也只有幾天左右。但是，這依然是一種唯一的用戶身份，只不過是記錄的信息有限而已，但是仍然為用戶行為分析提供了很大的幫助。感興趣的朋友可以搜索"google adsense隱私政策" 進(jìn)行相關(guān)了解，此處不在贅述。
　　用戶資料系統(tǒng)方便了一系列的大數(shù)據(jù)挖掘
　　除了傳統(tǒng)的互聯(lián)網(wǎng)桌面端和web端產(chǎn)品，最近幾年突飛猛進(jìn)的移動互聯(lián)網(wǎng)以及終端應(yīng)用，基本也都有完備的用戶信息系統(tǒng)。apple蘋果公司做了app store,迄今為止的應(yīng)用下載次數(shù)突破250億次，而每一次的下載都需要使用唯一的用戶ID,通過分析，蘋果可能比你父母更加了解你想要什么--這屬于用戶行為分析范疇，后續(xù)將專門討論。
　　總之，用戶身份和資料的分析是互聯(lián)網(wǎng)大數(shù)據(jù)分析中最基礎(chǔ)的分析，用戶身份系統(tǒng)在互聯(lián)網(wǎng)的大數(shù)據(jù)時(shí)代，為后續(xù)的用戶行為分析和對應(yīng)的企業(yè)產(chǎn)品、服務(wù)設(shè)計(jì)提供了基石，也為更加深入的數(shù)據(jù)挖掘奠定了基礎(chǔ)。