內(nèi)容分析在用戶反饋分析中的應(yīng)用

1：淘寶的用戶反饋 入口

PART1 理論基礎(chǔ)：內(nèi)容分析法簡(jiǎn)述

內(nèi)容分析，是指利用明晰的編碼規(guī)則，將大量文本信息轉(zhuǎn)化為定量數(shù)據(jù)，并 歸于若干類別以分析信息特征的方法)。內(nèi)容分析有三個(gè)特點(diǎn)：

1）客觀性。內(nèi)容分析不受主觀偏見影響，有標(biāo)準(zhǔn)化的研究過(guò)程，研究員對(duì)結(jié)果持開放態(tài)度；

2）系統(tǒng)。內(nèi)容分析過(guò)程（取樣、分析、編碼等）有統(tǒng)一、標(biāo)準(zhǔn)的規(guī)則和程序；

3）定性與定量結(jié)合。內(nèi)容分析通過(guò)定性研究找出能反映內(nèi)容本質(zhì)的特征，又將文本轉(zhuǎn)化為定量的數(shù)據(jù)，分析 結(jié)果可用頻次、百分比，或相關(guān)系數(shù)等來(lái)表示。

這種研究無(wú)需直接接觸研究對(duì)象，在傳播學(xué)、情報(bào)學(xué)、教育學(xué)等社會(huì)學(xué)科有廣泛應(yīng)用，但目的有所差別。鑒于本文所述的應(yīng)用類型，更傾向從情報(bào)學(xué)的觀點(diǎn)去定義內(nèi)容分析的目的：通過(guò)分析內(nèi)容了解本質(zhì)性的事實(shí)和趨勢(shì)，并揭示隱性問(wèn)題。換句話說(shuō)，在用戶反饋分析中應(yīng)用內(nèi)容分析法，目的在于對(duì)反饋信息進(jìn)行系統(tǒng)的歸納分類，整理問(wèn)題點(diǎn)并評(píng)估其嚴(yán)重性，從而有針對(duì)地實(shí)施改進(jìn)。

內(nèi)容分析的基本流程如圖2所示?？蒲兄?，還有訓(xùn)練編碼員（5、6環(huán)節(jié)間）、測(cè)量編碼員之間可信度（6、7環(huán)節(jié)間）的步驟。在企業(yè)環(huán)境中由于受到時(shí)間等調(diào)研成本制約，可選擇性執(zhí)行這兩步。具體每一步的實(shí)施將在PART2中通過(guò)實(shí)例詳述。

圖2：內(nèi)容分析流程圖

PART2 實(shí)踐應(yīng)用：步驟與技巧

如前所述，在企業(yè)的用戶研究中利用內(nèi)容分析處理文本型用戶反饋數(shù)據(jù)，最終目的在于，通過(guò)科學(xué)有效地總結(jié)歸納問(wèn)題來(lái)促進(jìn)改進(jìn)。因此應(yīng)用文本分析的步驟和技巧有以下特點(diǎn)：

1）編碼員（用戶研究員）需要對(duì)產(chǎn)品/項(xiàng)目的功能等特征有充分了解；
2）抽樣的時(shí)間點(diǎn)，會(huì)根據(jù)產(chǎn)品/項(xiàng)目的特點(diǎn)而定，如有無(wú)重大改 進(jìn)等；
3）分類以及后續(xù)數(shù)據(jù)分析維度的建立，是研究員與產(chǎn)品經(jīng)理等項(xiàng)目組關(guān)鍵成員共同完成的；

現(xiàn)按照前文所述的分析流程，以旺鋪升級(jí)后一周內(nèi)的用戶反饋分析為例，介紹內(nèi)容分析在企業(yè)用戶研究中的實(shí)踐步驟。

【第一步 對(duì)分析的目標(biāo)和范圍做出準(zhǔn)確定義】

分析目標(biāo)：收集、歸納用戶體驗(yàn)問(wèn)題及用戶看法
分析范圍：

主題領(lǐng)域——以某產(chǎn)品，或某流程的用戶反饋為范圍

時(shí)間段——如，改版后一周內(nèi)、新上線一 周后……等。值得注意的是，在產(chǎn)品大事件（如發(fā)布、改版）時(shí)間段，收集到的問(wèn)題會(huì)較多，用戶反饋兩極化明顯。在系統(tǒng)大事件（down機(jī)等）時(shí)間段，反饋的 問(wèn)題會(huì)較集中，用戶反饋多為抱怨。

呈現(xiàn)在用戶研究報(bào)告中，也就是一句簡(jiǎn)短陳述，如：旺鋪升級(jí)后一周內(nèi)的用戶反饋總結(jié)

【第二步 決定抽樣樣本】

包括決定以下三方面

1）內(nèi)容源：選擇從什么地方（幫派？問(wèn)卷？…等）抽樣
2）時(shí)間：選擇在分析時(shí)間段的哪幾天（全段？隔天？隔周？）抽樣
3）內(nèi)容：對(duì)內(nèi)容進(jìn)行隨機(jī)或等距抽樣

這意味著研究員要對(duì)產(chǎn)品周期有充分的了解和認(rèn)識(shí)。在本例中，我們的抽樣樣本是，旺鋪升級(jí)后一周內(nèi) （7天）用戶通過(guò)旺鋪裝修頁(yè)面“提意見”入口（圖3）提交的所有數(shù)據(jù)。

——>

圖3：旺鋪用戶反饋收集入口

【第三步 確定分析單位】

分析單位是內(nèi)容分析中的最小元素， 要對(duì)此給出明確清晰的操作性定義。在本例中，分析單位就是一名用戶所陳述的一條意見。值得注意的是，并非以一次提交的數(shù)據(jù)為單位，因?yàn)橐幻脩粢淮涡钥赡?提交若干條意見，需要把意見拆開，每條為一個(gè)分析單位。如圖4所示，“刪除模塊刪完不能添加”、“發(fā)布完又回到裝修頁(yè)面”分別是一個(gè)分析單位。

圖4：分析單位舉例

【第四步 建立分類】

分類是內(nèi)容分析的關(guān)鍵步驟，決定了后續(xù)的定量分析的有效性。類別是內(nèi)容分析的基本單位，每個(gè)分析單位都能且只能歸入某類別中。在學(xué)術(shù)研究中，往往依據(jù)研究理論或參考過(guò)往研究結(jié)果來(lái)分類。在企業(yè)用研中，則要對(duì)產(chǎn)品有充分了解，并與產(chǎn)品經(jīng)理合作制定分類框架。因?yàn)檫@便于分配問(wèn)題解決負(fù)責(zé)人。

窮盡、互斥是分類的兩大原則。分類應(yīng)涵蓋可能的問(wèn)題范圍，但由于事前無(wú)法全面預(yù)知內(nèi)容，最好設(shè)立“其它”類以滿足窮盡性。若有≥10%的 分析單位被歸入“其它”，則分類不當(dāng)。類與類之間是不重合的，若有一個(gè)分析單位可歸入兩個(gè)或以上類別，則分類不當(dāng)，或分析單位不準(zhǔn)。

分多少類為合適？類別太多會(huì)導(dǎo)致某些類的分析單位少而失去統(tǒng)計(jì)意義；類別太少，不同性質(zhì)的分析單位歸入同一類，可能會(huì)掩蓋顯著性差 異?？紤]到將分類合并比將分類拆分容易，建議寧多勿少。在無(wú)從下手的情況下，可試檢驗(yàn)50-100條分析 單位。

在本例中的分類如圖5——

圖5：旺鋪用戶反饋 的分類與說(shuō)明

該分類傾向于以問(wèn)題解決方（如系統(tǒng)問(wèn)題由開發(fā)人員解決、功能需求由產(chǎn)品經(jīng)理解決、交互問(wèn)題由設(shè)計(jì) 師解決）為基礎(chǔ)維度，便于推動(dòng)改進(jìn)。對(duì)于頁(yè)面、功能有限的產(chǎn)品/流程，也可按照頁(yè)面或功能分類。對(duì)于本例，也有針對(duì)功能、頁(yè)面進(jìn)行分類，主要體現(xiàn)在二級(jí)編碼中，詳情見下。

【第五步 制作編碼表 試驗(yàn)性編碼】

制作編碼表是在大分類的基礎(chǔ)上進(jìn)行 細(xì)化，以更好地聚焦問(wèn)題。在這一步，要盡可能細(xì)致全面，才能保證有效的數(shù)據(jù)分析。對(duì)每個(gè)編碼的含義要有所說(shuō)明，尤其在編碼者不止一人的情況下。在本例中， 對(duì)功能需求這一大分類的部分編碼如圖6，其原則是盡可能涵蓋所有功能。而對(duì)于系統(tǒng)問(wèn)題、交互體驗(yàn)問(wèn)題，子編碼 又是應(yīng)內(nèi)容特點(diǎn)、以另外的維度設(shè)定的。

圖6：編碼表示例

在 編碼表制作好后，抽取50-100條分析單位（如100條反饋）進(jìn)行試編碼（coding），以檢驗(yàn)是否夠細(xì)夠全。當(dāng)然了，在實(shí)際實(shí)施編碼（第六步）過(guò) 程中可能發(fā)現(xiàn)編碼不夠用的情況。此時(shí)只能新增編碼，并對(duì)該分類下的所有分析單位重新編碼。所幸的是——也是內(nèi)容分析的優(yōu)點(diǎn)之一——即使發(fā)現(xiàn)問(wèn)題，能在不影 響數(shù)據(jù)本身準(zhǔn)確性和完好性的情況下彌補(bǔ)錯(cuò)誤。不像問(wèn)卷調(diào)研或現(xiàn)場(chǎng)實(shí)驗(yàn)，一旦實(shí)施，有錯(cuò)誤也無(wú)法彌補(bǔ)，只能拋棄數(shù)據(jù)。

【第六步 收集數(shù)據(jù) 實(shí)施編碼】

收集數(shù)據(jù)就是按照之前所定義好的范圍與抽樣 標(biāo)準(zhǔn)提取數(shù)據(jù)。通常將數(shù)據(jù)導(dǎo)入到EXCEL中進(jìn)行處理。在本例中，每條用戶意見（即最小分析單位）對(duì)應(yīng)一行（圖7）。

圖7：原始數(shù)據(jù)示例

然 后便可開始對(duì)每個(gè)分析單位進(jìn)行編碼，是純?nèi)斯さ倪^(guò)程。目前也有一些文本分析軟件可輔助，但這些基于分詞技術(shù)的軟件智能程度不足，且實(shí)施聚類分析對(duì)樣本量有 要求（至少上萬(wàn)條），更適合用于海量文本數(shù)據(jù)的分類。

編碼過(guò)程可借助EXCEL的文本篩選功能。比如筆者用得較多的是“包含XX關(guān)鍵詞” 的篩選方式（圖8），能有效提高編碼效率。在過(guò)程中要把無(wú)意義的分析單位（如在本例中，會(huì)有用戶在反饋中打自己店鋪的廣告）給清理掉。

圖8：文本篩選功能 示例

初步編碼結(jié)果如下圖所示，接著便可進(jìn)入分析、報(bào)告階段。

圖9：編碼結(jié)果示例

【第 七步 分析 報(bào)告結(jié)果】

分析包括兩部分。定量部分使用描述性統(tǒng)計(jì)，計(jì)算各分類中條目、各個(gè)碼類的頻數(shù)、百分比。如果還能結(jié)合到其他變量，如用 戶的星級(jí)等，可進(jìn)行更復(fù)雜的交叉分析、卡方檢驗(yàn)、t檢驗(yàn)、方差分析等。定性部分，是對(duì)某子編碼下的所有條目進(jìn)行梳理，總結(jié)出問(wèn)題點(diǎn)。

要注意的是，頻數(shù)、百分比不是衡量嚴(yán)重程度的唯一指標(biāo)。比如我們發(fā)現(xiàn)大量系統(tǒng)問(wèn)題這一分類的用戶意見，但基本上說(shuō) 的只是發(fā)布失敗和速度慢兩點(diǎn)。 功能需求這一分類下的意見總數(shù)相對(duì)較少，但問(wèn)題有10余種。因此，定性與定量分析的結(jié)合，才能反映各分類對(duì)整體體驗(yàn)（滿意或不滿意）的貢獻(xiàn)度大小，以及問(wèn)題聚焦/分散程度。示例如下：

圖10：反饋總結(jié)示例

進(jìn) 一步的分析還包括對(duì)表象所隱含的問(wèn)題的推斷。例如筆者發(fā)現(xiàn)圖11所示的問(wèn)題。

圖11：深層分析示例

在企業(yè)中，內(nèi)容分析報(bào)告的輸出形式更靈活，關(guān)鍵在于有效傳達(dá)問(wèn)題，推動(dòng)問(wèn)題的解決。尤其用戶反饋的內(nèi)容本身比用戶研究員的分析歸納更具沖擊力，更易引起同理心。

在本例中，筆者的輸出物包括：

原始數(shù)據(jù)EXCEL表，按分類將問(wèn)題 分別放在不同sheet里（圖11）。在每一張sheet里，可通過(guò)篩選功能，看具體某個(gè)方面的用戶反饋原話。要注意的是，此時(shí)會(huì)把編碼重新轉(zhuǎn)化為文字描述便于理解。

圖12：EXCEL 輸出物示例

用戶反饋總結(jié)ppt，將各分類中的問(wèn)題匯總羅列，用于向項(xiàng)目組宣講，并探討解決 方案。陳述問(wèn)題時(shí)，可引用典型的用戶原話。比如有10個(gè)人反映同一問(wèn)題，可選取問(wèn)題表達(dá)最清晰或感情色彩最濃烈者的原話。本文來(lái)自：CDA數(shù)據(jù)分析師

本文介紹了內(nèi)容分析，以及內(nèi)容分析在企業(yè) 用戶研究中應(yīng)用的步驟與技巧。內(nèi)容分析的優(yōu)點(diǎn)有：1）相比實(shí)驗(yàn)法、問(wèn)卷法等，較為節(jié)省人力物力；2）內(nèi)容可被重復(fù)分析，可靠性較大；3）無(wú)需直接接觸研究 對(duì)象；4）操作過(guò)程若產(chǎn)生問(wèn)題，錯(cuò)誤易被彌補(bǔ)。它的缺點(diǎn)在于：1）人為因素（如如何分類、編碼）會(huì)極大影響結(jié)果；2）編碼工作需時(shí)較長(zhǎng)、單調(diào)。