數(shù)據(jù)挖掘系列:用戶畫像之用戶標(biāo)簽

用戶畫像(User Profile)，作為大數(shù)據(jù)的根基，它完美地抽象出一個用戶的信息全貌，為進(jìn)一步精準(zhǔn)、快速地分析用戶行為習(xí)慣、消費(fèi)習(xí)慣等重要信息，提供了足夠的數(shù)據(jù)基礎(chǔ)，奠定了大數(shù)據(jù)時代的基石。

微博作為最大的中文社交媒體，擁有數(shù)以“PB”(1024 TB)計的用戶信息，從海量的用戶信息中發(fā)掘每個用戶的社交特性、潛在能力及興趣等信息，是微博為用戶提供更加人性化服務(wù)的基礎(chǔ)。微博大數(shù)據(jù)經(jīng)過近兩年不斷地調(diào)整、磨合、優(yōu)化，針對社交媒體特性，研發(fā)構(gòu)建了一整套完整的用戶畫像體系。該體系涵蓋能力標(biāo)簽、興趣標(biāo)簽、關(guān)系及親密度、信用質(zhì)量和自然屬性五大部分，完整而全面地實現(xiàn)了用戶信息標(biāo)簽化。同時，大數(shù)據(jù)的用戶畫像體系已應(yīng)用于微博眾多的業(yè)務(wù)場景中，并隨著微博業(yè)務(wù)的發(fā)展不斷完善升級，將“大數(shù)據(jù)”概念落地落實。

為了方便與大家交流探討，大數(shù)據(jù)用戶團(tuán)隊特別整理了用戶畫像系列文章，主要從微博的角度出發(fā)，重點(diǎn)介紹社交媒體平臺中用戶的特性，微博業(yè)務(wù)發(fā)展中用戶的建模剛需，以及不同緯度建模過程中遇到的問題和解決方案。

引言

在以微博為代表的社交媒體平臺中，每一個用戶都是網(wǎng)絡(luò)中的一個具備發(fā)布、傳播、消費(fèi)信息功能的節(jié)點(diǎn)。其中一部分節(jié)點(diǎn)具備發(fā)布優(yōu)質(zhì)原創(chuàng)信息的功能，并通過社交網(wǎng)絡(luò)將信息快速傳播，即能力節(jié)點(diǎn);而其他大部分節(jié)點(diǎn)則偏重于消費(fèi)信息，同時傳播其感興趣的信息，即消費(fèi)節(jié)點(diǎn)。微博平臺的這種信息傳播方式使得能力節(jié)點(diǎn)從原創(chuàng)信息傳播中獲得對網(wǎng)絡(luò)的影響力，并打造自身的品牌，從而進(jìn)一步促使更多節(jié)點(diǎn)消費(fèi)其原創(chuàng)信息;而這信息傳播方式也讓消費(fèi)節(jié)點(diǎn)在消費(fèi)信息的同時發(fā)掘其自身興趣，促進(jìn)其對同類信息的消費(fèi)，從而提升能力節(jié)點(diǎn)的活躍性。因此，促進(jìn)優(yōu)質(zhì)信息的快速傳播是我們的首要任務(wù)，而挖掘出具備原創(chuàng)信息發(fā)布能力的節(jié)點(diǎn)，并為其打上相應(yīng)的能力標(biāo)簽是后續(xù)工作的前提和基礎(chǔ)。

本文主要從用戶標(biāo)簽體系、能力標(biāo)簽的應(yīng)用場景、能力標(biāo)簽挖掘框架、關(guān)鍵技術(shù)點(diǎn)四個方面對用戶能力標(biāo)簽的整體挖掘框架和挖掘算法進(jìn)行介紹。
一、用戶標(biāo)簽體系：

微博作為最大的中文社交媒體，每天都有豐富的信息在其上發(fā)布與傳播，從某個話題下的相關(guān)信息中聚合出一個或者多個具有代表性的詞語作為標(biāo)簽，能夠方便對用戶與內(nèi)容的查找與分析。因此，對于在微博上能夠聚合出的數(shù)量龐大的標(biāo)簽庫而言，為了有效的梳理標(biāo)簽，方便挖掘工作的進(jìn)行，需要構(gòu)建一個清晰完整的用戶標(biāo)簽體系。圖1是目前已經(jīng)構(gòu)建的三層標(biāo)簽體系，其左半部分?jǐn)⑹隽巳齻€層級標(biāo)簽的數(shù)量，右半部分則對標(biāo)簽層級進(jìn)行舉例說明。

圖1：三層用戶標(biāo)簽體系

如圖1左半部分所述，在當(dāng)前的三層用戶標(biāo)簽體系中，共存在50多個一級標(biāo)簽，1000多個二級標(biāo)簽和近30萬的三級標(biāo)簽;其中一級標(biāo)簽是大類標(biāo)簽，類似于新聞客戶端中常見的頻道(如右半部分的財經(jīng)、互聯(lián)網(wǎng)等)，二級標(biāo)簽是從屬于一級標(biāo)簽的細(xì)分(如右半部分中財經(jīng)下的股票，互聯(lián)網(wǎng)下的互聯(lián)網(wǎng)安全等)，三級標(biāo)簽是對二級標(biāo)簽的進(jìn)一步細(xì)分，能對應(yīng)到一級標(biāo)簽下的實體對象(如財經(jīng)下某一支具體的股票，互聯(lián)網(wǎng)下的某一家具體公司等)。

在所確定的標(biāo)簽體系下，我們需要對每一個粒度的標(biāo)簽聚合信息，具體到用戶能力標(biāo)簽，就是要在每個標(biāo)簽下聚合具有該細(xì)分標(biāo)簽?zāi)芰Φ挠脩羧后w。
二、能力標(biāo)簽的應(yīng)用場景

目前能力標(biāo)簽已經(jīng)應(yīng)用于微博眾多業(yè)務(wù)場景中，其中兩個典型的業(yè)務(wù)場景是“微博找人”和“熱門微博”，分別如圖2和圖3所示。

圖2：為“微博找人”業(yè)務(wù)直接推薦各個行業(yè)的專家賬號

圖3：“熱門微博”內(nèi)容來源于挖掘的各個領(lǐng)域的專家賬號

在找人業(yè)務(wù)場景中，用戶可以直接發(fā)現(xiàn)各垂直領(lǐng)域的專家賬號，通過關(guān)注專家賬號可以直接獲取各垂直領(lǐng)域的優(yōu)質(zhì)內(nèi)容。在熱門微博業(yè)務(wù)場景中，內(nèi)容流都出自于垂直領(lǐng)域的專家賬號：一個賬號通過發(fā)布某個領(lǐng)域的優(yōu)質(zhì)內(nèi)容形成初步影響力，大數(shù)據(jù)計算出其所屬領(lǐng)域后，熱門微博會在對應(yīng)領(lǐng)域進(jìn)行內(nèi)容推薦，使該賬戶逐步成長為專家賬號，從而形成一個產(chǎn)品閉環(huán)。能力標(biāo)簽的主要作用是構(gòu)建各種優(yōu)質(zhì)語料的重要基礎(chǔ)數(shù)據(jù)源，通過能力標(biāo)簽圈定專家用戶群體，提取出優(yōu)質(zhì)語料等相關(guān)信息;在大部分情況下，能力標(biāo)簽不直接在業(yè)務(wù)場景中展示。
三、能力標(biāo)簽挖掘框架

能力標(biāo)簽挖掘，即對用戶標(biāo)簽體系中的能力標(biāo)簽進(jìn)行挖掘。具體的，在整體用戶能力標(biāo)簽挖掘流程中，首先通過用戶關(guān)系數(shù)據(jù)(主要是分組，用于體現(xiàn)粉絲對于用戶能力的認(rèn)可度)、用戶內(nèi)容數(shù)據(jù)(主要是原創(chuàng)博文，用于體現(xiàn)用戶自身的專業(yè)能力)、用戶行為數(shù)據(jù)(主要是轉(zhuǎn)、評、贊等互動信息，用于體現(xiàn)該用戶在相關(guān)領(lǐng)域內(nèi)的影響力)挖掘出用戶的能力標(biāo)簽及其基礎(chǔ)權(quán)重;其次通過引入用戶的自填信息、認(rèn)證信息作為能力標(biāo)簽權(quán)重的調(diào)權(quán)因子參與計算;接下來通過多個維度的定向挖掘系統(tǒng)和運(yùn)營反饋系統(tǒng)進(jìn)行能力標(biāo)簽的校正和增加能力標(biāo)簽的覆蓋。最后，將挖掘出來的用戶能力標(biāo)簽及權(quán)重輸出至用戶能力標(biāo)簽庫，供上層業(yè)務(wù)調(diào)用。整體的挖掘框架如圖4所示：

圖4：用戶能力標(biāo)簽挖掘整體框架

四、能力標(biāo)簽挖掘關(guān)鍵技術(shù)點(diǎn)

本節(jié)主要介紹能力標(biāo)簽挖掘中涉及到的標(biāo)簽詞匯聚、用戶影響力、時間窗口和時間衰減三個關(guān)鍵技術(shù)點(diǎn)。

標(biāo)簽詞匯聚

用戶的分組信息即用戶為關(guān)注對象打上的標(biāo)簽作為用戶關(guān)系數(shù)據(jù)引入到挖掘過程中，由于標(biāo)簽屬于UGC，就會造成同一個標(biāo)簽主題有多種不同的表達(dá)方式，將多種不同的表達(dá)方式聚合起來，形成一個標(biāo)簽集，并且映射到我們的標(biāo)簽體系中，可以有效地提升能力標(biāo)簽的準(zhǔn)確率和覆蓋率。

首先將分組信息通過分類模型劃分為強(qiáng)關(guān)系型(同學(xué)、同事等)和興趣型(互聯(lián)網(wǎng)、財經(jīng)等)兩類，并將興趣型分組信息作為我們的基礎(chǔ)預(yù)料。

接下來通過聚類、關(guān)聯(lián)等相關(guān)算法進(jìn)行標(biāo)簽詞(分組信息)的聚合;

最后將聚合的標(biāo)簽集根據(jù)相關(guān)程度等因子劃分為高相關(guān)和低相關(guān)兩類。

以互聯(lián)網(wǎng)標(biāo)簽為例，聚合出來的最終結(jié)果如表1所示：

表1：互聯(lián)網(wǎng)相關(guān)標(biāo)簽集

用戶影響力

用戶影響力指的是用戶在某個特定標(biāo)簽下的影響力，因此影響力計算的邊界(如圖5所示)是標(biāo)簽對應(yīng)的興趣用戶群體(包含該標(biāo)簽的能力用戶)，即對該標(biāo)簽所對應(yīng)的領(lǐng)域有一定了解的用戶群體。具體地，我們將其它用戶對某個用戶原創(chuàng)博文的轉(zhuǎn)、評、贊等互動行為作為基礎(chǔ)數(shù)據(jù)，利用pagerank迭代算法進(jìn)行該用戶影響力的計算。

圖5：用戶影響力計算邊界

其中，同領(lǐng)域用戶的影響力大小是由其它用戶對相關(guān)博文的轉(zhuǎn)、評、贊等互動行為按照一定的權(quán)重比計算得到的。所謂相關(guān)博文就是指用戶發(fā)表的屬于標(biāo)簽對應(yīng)領(lǐng)域的原創(chuàng)博文(即打上內(nèi)容標(biāo)簽的原創(chuàng)博文，該部分屬于大數(shù)據(jù)內(nèi)容團(tuán)隊負(fù)責(zé)，后續(xù)會有相關(guān)文章介紹)。

時間窗口和時間衰減

考慮到原創(chuàng)博文的消費(fèi)價值和計算代價，對于用戶內(nèi)容數(shù)據(jù)，我們選取了用戶近一段時期內(nèi)的原創(chuàng)博文作為基礎(chǔ)語料進(jìn)行計算。

關(guān)于時間衰減，我們結(jié)合牛頓冷卻定律和微博的業(yè)務(wù)需求推導(dǎo)出相應(yīng)的衰減公式，并通過衰減效果的對比，確定了相關(guān)衰減參數(shù)的數(shù)值，最終得出了用戶能力標(biāo)簽內(nèi)容權(quán)重的時間衰減函數(shù)，如圖6所示。

圖6：用戶能力標(biāo)簽內(nèi)容權(quán)重衰減函數(shù)

五、小結(jié)

當(dāng)前我們主要從社交關(guān)系、原創(chuàng)內(nèi)容、影響力三個維度來識別用戶的能力標(biāo)簽以及計算相應(yīng)的權(quán)重，同時通過用戶的自填信息、認(rèn)證信息等其他信息進(jìn)行調(diào)權(quán)。對于某些特定的垂直領(lǐng)域或某類具有明顯特征的用戶群體，我們通過定向挖掘系統(tǒng)來進(jìn)行處理，然后融合到最終的用戶能力標(biāo)簽庫進(jìn)行輸出。