基于大數(shù)據(jù)的用戶標(biāo)簽體系建設(shè)思路和應(yīng)用

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)在呈現(xiàn)出海量化、多樣化和價(jià)值化變化的同時(shí)，也改變了傳統(tǒng)IT行業(yè)的市場(chǎng)競(jìng)爭(zhēng)環(huán)境、營(yíng)銷(xiāo)策略和服務(wù)模式。

如何在ZB級(jí)的海量數(shù)據(jù)中獲取并篩選有價(jià)值的信息，是對(duì)IT企業(yè)的一大挑戰(zhàn)。通過(guò)構(gòu)建客戶標(biāo)簽，支撐精準(zhǔn)營(yíng)銷(xiāo)服務(wù)，是應(yīng)對(duì)上述挑戰(zhàn)的有效解決方案。

但是怎么設(shè)計(jì)一個(gè)完善的用戶標(biāo)簽體系？怎么打標(biāo)簽？打哪些標(biāo)簽？誰(shuí)來(lái)打？怎么使用用戶標(biāo)簽創(chuàng)建商業(yè)價(jià)值？

這些都是產(chǎn)品設(shè)計(jì)層面需要解決的問(wèn)題。

掌上醫(yī)訊一直以來(lái)都致力于打造醫(yī)生的今日頭條和智能化的學(xué)習(xí)平臺(tái)，通過(guò)大數(shù)據(jù)技術(shù)實(shí)現(xiàn)醫(yī)生學(xué)習(xí)的智能化和個(gè)性化，而要構(gòu)建這樣一個(gè)學(xué)習(xí)平臺(tái)，最基礎(chǔ)的就是要建立用戶的標(biāo)簽體系。

經(jīng)過(guò)長(zhǎng)時(shí)間的學(xué)習(xí)、思考、借鑒和實(shí)踐，現(xiàn)在已經(jīng)有了自己的標(biāo)簽構(gòu)建思路，并且也已經(jīng)提取出了符合自身業(yè)務(wù)的標(biāo)簽。我們十分重視用戶行為日志的收集，現(xiàn)在已經(jīng)有了億萬(wàn)級(jí)別的日志數(shù)據(jù)，正在搭建數(shù)據(jù)處理和標(biāo)簽計(jì)算平臺(tái)，以下是我們整理的建設(shè)思想。

標(biāo)簽系統(tǒng)的結(jié)構(gòu)

標(biāo)簽系統(tǒng)可以分為三個(gè)部分：數(shù)據(jù)加工層、數(shù)據(jù)服務(wù)層和數(shù)據(jù)應(yīng)用層。

每個(gè)層面向的用戶對(duì)象不一樣，處理事務(wù)有所不同。層級(jí)越往下，與業(yè)務(wù)的耦合度就越小。層級(jí)越往上，業(yè)務(wù)關(guān)聯(lián)性就越強(qiáng)。

數(shù)據(jù)加工層

數(shù)據(jù)加工層收集、清洗和提取數(shù)據(jù)。掌上醫(yī)訊有諸多的學(xué)習(xí)模塊，同時(shí)又有網(wǎng)站、APP、小程序等多個(gè)產(chǎn)品形式，每個(gè)產(chǎn)品模塊和產(chǎn)品端都會(huì)產(chǎn)生大量的業(yè)務(wù)數(shù)據(jù)和行為數(shù)據(jù)，這些數(shù)據(jù)極為相似又各不相同，為了搭建完善的用戶標(biāo)簽體系，需要盡可能匯總最大范圍的數(shù)據(jù)。收集了所有數(shù)據(jù)之后，需要經(jīng)過(guò)清洗、去重、去無(wú)效、去異常等等。

數(shù)據(jù)業(yè)務(wù)層

數(shù)據(jù)加工層為業(yè)務(wù)層提供最基礎(chǔ)的數(shù)據(jù)能力，提供數(shù)據(jù)原材料。業(yè)務(wù)層屬于公共資源層，并不歸屬某個(gè)產(chǎn)品或業(yè)務(wù)線。它主要用來(lái)維護(hù)整個(gè)標(biāo)簽體系，集中在一個(gè)地方來(lái)進(jìn)行管理。

在這一層，運(yùn)營(yíng)人員和產(chǎn)品能夠參與進(jìn)來(lái)，提出業(yè)務(wù)要求：將原材料進(jìn)行切割。

主要完成以下核心任務(wù)：

1. 定義業(yè)務(wù)方需要的標(biāo)簽。
2. 創(chuàng)建標(biāo)簽實(shí)例。
3. 執(zhí)行業(yè)務(wù)標(biāo)簽實(shí)例，提供相應(yīng)數(shù)據(jù)。

應(yīng)用層的任務(wù)是賦予產(chǎn)品和運(yùn)營(yíng)人員標(biāo)簽的工具能力，聚合業(yè)務(wù)數(shù)據(jù)，構(gòu)建具體的數(shù)據(jù)應(yīng)用場(chǎng)景。

（1）標(biāo)簽的類型

從數(shù)據(jù)提取維度來(lái)看，標(biāo)簽可分為：事實(shí)標(biāo)簽、模型標(biāo)簽和預(yù)測(cè)標(biāo)簽。

（2）事實(shí)標(biāo)簽

從生產(chǎn)系統(tǒng)獲取數(shù)據(jù)，定性或定量描述用戶的自然屬性、產(chǎn)品屬性、消費(fèi)屬性、資源屬性等，以及根據(jù)工作人員經(jīng)驗(yàn)積累的業(yè)務(wù)規(guī)則進(jìn)行篩選、分析生產(chǎn)的標(biāo)簽，如是否活躍用戶、是否是考生等。

（3）模型標(biāo)簽

對(duì)用戶屬性及行為等屬性的抽象和聚類，通過(guò)剖析用戶的基礎(chǔ)數(shù)據(jù)為用戶貼上相應(yīng)的總結(jié)概括性標(biāo)簽及指數(shù)，標(biāo)簽代表用戶的興趣、偏好、需求等，指數(shù)代表用戶的興趣程度、需求程度、購(gòu)買(mǎi)概率等。

（4）預(yù)測(cè)標(biāo)簽

基于用戶的屬性、行為、信令、位置和特征，挖掘用戶潛在需求，針對(duì)這些潛在需求配合營(yíng)銷(xiāo)策略、規(guī)則進(jìn)行打標(biāo)，實(shí)現(xiàn)營(yíng)銷(xiāo)適時(shí)、適機(jī)、適景推送給用戶。

從數(shù)據(jù)的時(shí)效性來(lái)看，標(biāo)簽可分為：靜態(tài)屬性標(biāo)簽和動(dòng)態(tài)屬性標(biāo)簽。

（5）靜態(tài)屬性標(biāo)簽

長(zhǎng)期甚至永遠(yuǎn)都不會(huì)發(fā)生改變。比如性別，出生日期，這些數(shù)據(jù)都是既定的事實(shí)，幾乎不會(huì)改變。

（6）動(dòng)態(tài)屬性標(biāo)簽

存在有效期，需要定期地更新，保證標(biāo)簽的有效性。比如：用戶的購(gòu)買(mǎi)力，用戶的活躍情況。

標(biāo)簽的定義

給用戶打標(biāo)簽，建立用戶畫(huà)像，最終都是為了去應(yīng)用，所以我們要站在應(yīng)用場(chǎng)景上去定義用戶的標(biāo)簽體系，每個(gè)標(biāo)簽都有最終的用途。比如：我們做考試培訓(xùn)服務(wù)，我們需要建立“是否考生”的標(biāo)簽。

另外，不同的行業(yè)他們的用戶特征也是有顯著區(qū)別的，比如：醫(yī)生用戶相比普通用戶來(lái)說(shuō)，就多了像“科室”、“職稱”、“所在醫(yī)院等級(jí)”等特殊含義的標(biāo)簽。

而標(biāo)簽是有層級(jí)關(guān)系的，既是為了管理，更好的理解，又是為了控制粗細(xì)力度，方便最終的應(yīng)用。標(biāo)簽深度一般控制在四級(jí)比較合適，到了第四級(jí)就是具體的標(biāo)簽實(shí)例。

我們根據(jù)公司的業(yè)務(wù)首先劃分了人口屬性、行為屬性、用戶分類和商業(yè)屬性四個(gè)大的分類，下面又分了上網(wǎng)習(xí)慣、學(xué)習(xí)慣、人群屬性、消費(fèi)能力、消費(fèi)習(xí)慣等分類，最末級(jí)精確到用戶的活躍等級(jí)、閱讀來(lái)源、考試偏好等具體的標(biāo)簽。

標(biāo)簽的維護(hù)

每個(gè)標(biāo)簽都不會(huì)憑空產(chǎn)生的，也不會(huì)一成不變，更不會(huì)憑空消失。標(biāo)簽的維護(hù)需要生成規(guī)則，需要定義權(quán)重，需要更新策略。

生成規(guī)則

如第一部分所說(shuō)，標(biāo)簽分為事實(shí)標(biāo)簽，模型標(biāo)簽和預(yù)測(cè)標(biāo)簽三大類。對(duì)于這三類的標(biāo)簽，生成規(guī)則的難度和復(fù)雜性也是逐級(jí)遞增的。事實(shí)標(biāo)簽只需要考慮從什么地方提取即可，它即包含明確的標(biāo)簽定義，又包含無(wú)法窮舉的標(biāo)簽集，比如：關(guān)注的病種。

而模型標(biāo)簽需要進(jìn)行數(shù)據(jù)的關(guān)聯(lián)和邏輯關(guān)系的設(shè)計(jì)，通過(guò)一定的模型對(duì)數(shù)據(jù)進(jìn)行計(jì)算得來(lái)。而預(yù)測(cè)標(biāo)簽相對(duì)就非常的復(fù)雜，無(wú)法從原始數(shù)據(jù)提取標(biāo)簽，標(biāo)簽的生成準(zhǔn)確度就太依賴我們大數(shù)據(jù)分析和人工智能技術(shù)的應(yīng)用。

定義權(quán)重

一個(gè)標(biāo)簽會(huì)在多個(gè)場(chǎng)景下出現(xiàn)，比如：一個(gè)疾病標(biāo)簽，它極可能在瀏覽過(guò)程中生成，也有可能在搜索場(chǎng)景下產(chǎn)生，但是對(duì)于這兩個(gè)場(chǎng)景所對(duì)應(yīng)的同一個(gè)標(biāo)簽，他們的權(quán)重是不同的。瀏覽相比搜索，權(quán)重要小得多，因?yàn)樗阉鞯闹鲃?dòng)需求更大。

更新策略

上文我們從數(shù)據(jù)的時(shí)效性上對(duì)標(biāo)簽分為靜態(tài)屬性標(biāo)簽和動(dòng)態(tài)屬性標(biāo)簽，對(duì)于靜態(tài)屬性標(biāo)簽的處理相對(duì)比較簡(jiǎn)單，就不停的累加即可。但是對(duì)于動(dòng)態(tài)屬性標(biāo)簽，需要對(duì)過(guò)期標(biāo)簽進(jìn)行降權(quán)甚至刪除處理，比如：醫(yī)生考試前和考試后，會(huì)影響“是否考生”這個(gè)標(biāo)簽的，這就需要制定更新策略。

標(biāo)簽建設(shè)的技術(shù)架構(gòu)

標(biāo)簽體系的建設(shè)涉及很多環(huán)節(jié)，數(shù)據(jù)量也十分巨大，需要有一個(gè)健壯且高效的技術(shù)架構(gòu)來(lái)支持?jǐn)?shù)據(jù)的存儲(chǔ)及計(jì)算，掌上醫(yī)訊采用了sql數(shù)據(jù)庫(kù)和no-sql數(shù)據(jù)庫(kù)來(lái)滿足結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)。

使用hadoop的分布式存儲(chǔ)技術(shù)及hive和hbase組件作為數(shù)據(jù)倉(cāng)庫(kù)，使用MapReduce和spark分布式計(jì)算來(lái)提高計(jì)算速度，使用kylin進(jìn)行多維分析，通過(guò)BI工具和接口對(duì)外提供應(yīng)用，使用sqoop和kettle進(jìn)行數(shù)據(jù)的抽取及流程的調(diào)用。

更多的應(yīng)用場(chǎng)景

用戶標(biāo)簽建立已經(jīng)基本應(yīng)用在掌上醫(yī)訊的內(nèi)容智能推薦的學(xué)習(xí)場(chǎng)景中，但隨著標(biāo)簽的完善以及智能化處理的提升，這套標(biāo)簽體系將有更廣闊的應(yīng)用場(chǎng)景。

（1）智能化學(xué)習(xí)場(chǎng)景的構(gòu)建

通過(guò)用戶學(xué)習(xí)需求的標(biāo)簽的分析進(jìn)行用戶分群，針對(duì)不同的用戶群在APP的功能和內(nèi)容上進(jìn)行個(gè)性化展示，滿足不同學(xué)習(xí)需求的用戶個(gè)性化的學(xué)習(xí)服務(wù)。

（2）精準(zhǔn)營(yíng)銷(xiāo)推廣的建立

更細(xì)粒度的對(duì)用戶進(jìn)行篩選，同時(shí)能夠精準(zhǔn)預(yù)測(cè)可能存在的目標(biāo)用戶進(jìn)行推廣，從而擴(kuò)大醫(yī)生覆蓋，提升推廣的轉(zhuǎn)化率。

（3）KOL用戶畫(huà)像的描繪

基于該標(biāo)簽?zāi)Ｐ?，增加?duì)外部數(shù)據(jù)的采集分析，更加完整的生成醫(yī)生360度的用戶畫(huà)像，幫助企業(yè)尋找潛在的KOL用戶，實(shí)現(xiàn)用戶洞察，輔助市場(chǎng)決策。

標(biāo)簽的建設(shè)是一個(gè)看似高大上，其實(shí)很繁瑣、糾結(jié)的過(guò)程，需要對(duì)業(yè)務(wù)抽絲剝繭，還要應(yīng)對(duì)運(yùn)營(yíng)需求的各種變化，不過(guò)對(duì)公司發(fā)展的影響也是深遠(yuǎn)的。