內(nèi)容分析在用戶反饋分析中的應(yīng)用

1：淘寶的用戶反饋 入口

PART1 理論基礎(chǔ)：內(nèi)容分析法簡述

內(nèi)容分析，是指利用明晰的編碼規(guī)則，將大量文本信息轉(zhuǎn)化為定量數(shù)據(jù)，并 歸于若干類別以分析信息特征的方法)。內(nèi)容分析有三個特點(diǎn)：

1）客觀性。內(nèi)容分析不受主觀偏見影響，有標(biāo)準(zhǔn)化的研究過程，研究員對結(jié)果持開放態(tài)度；

2）系統(tǒng)。內(nèi)容分析過程（取樣、分析、編碼等）有統(tǒng)一、標(biāo)準(zhǔn)的規(guī)則和程序；

3）定性與定量結(jié)合。內(nèi)容分析通過定性研究找出能反映內(nèi)容本質(zhì)的特征，又將文本轉(zhuǎn)化為定量的數(shù)據(jù)，分析 結(jié)果可用頻次、百分比，或相關(guān)系數(shù)等來表示。

這種研究無需直接接觸研究對象，在傳播學(xué)、情報學(xué)、教育學(xué)等社會學(xué)科有廣泛應(yīng)用，但目的有所差別。鑒于本文所述的應(yīng)用類型，更傾向從情報學(xué)的觀點(diǎn)去定義內(nèi)容分析的目的：通過分析內(nèi)容了解本質(zhì)性的事實和趨勢，并揭示隱性問題。換句話說，在用戶反饋分析中應(yīng)用內(nèi)容分析法，目的在于對反饋信息進(jìn)行系統(tǒng)的歸納分類，整理問題點(diǎn)并評估其嚴(yán)重性，從而有針對地實施改進(jìn)。

內(nèi)容分析的基本流程如圖2所示?？蒲兄校€有訓(xùn)練編碼員（5、6環(huán)節(jié)間）、測量編碼員之間可信度（6、7環(huán)節(jié)間）的步驟。在企業(yè)環(huán)境中由于受到時間等調(diào)研成本制約，可選擇性執(zhí)行這兩步。具體每一步的實施將在PART2中通過實例詳述。

圖2：內(nèi)容分析流程圖

PART2 實踐應(yīng)用：步驟與技巧

如前所述，在企業(yè)的用戶研究中利用內(nèi)容分析處理文本型用戶反饋數(shù)據(jù)，最終目的在于，通過科學(xué)有效地總結(jié)歸納問題來促進(jìn)改進(jìn)。因此應(yīng)用文本分析的步驟和技巧有以下特點(diǎn)：

1）編碼員（用戶研究員）需要對產(chǎn)品/項目的功能等特征有充分了解；
2）抽樣的時間點(diǎn)，會根據(jù)產(chǎn)品/項目的特點(diǎn)而定，如有無重大改 進(jìn)等；
3）分類以及后續(xù)數(shù)據(jù)分析維度的建立，是研究員與產(chǎn)品經(jīng)理等項目組關(guān)鍵成員共同完成的；

現(xiàn)按照前文所述的分析流程，以旺鋪升級后一周內(nèi)的用戶反饋分析為例，介紹內(nèi)容分析在企業(yè)用戶研究中的實踐步驟。

【第一步 對分析的目標(biāo)和范圍做出準(zhǔn)確定義】

分析目標(biāo)：收集、歸納用戶體驗問題及用戶看法
分析范圍：

主題領(lǐng)域——以某產(chǎn)品，或某流程的用戶反饋為范圍

時間段——如，改版后一周內(nèi)、新上線一 周后……等。值得注意的是，在產(chǎn)品大事件（如發(fā)布、改版）時間段，收集到的問題會較多，用戶反饋兩極化明顯。在系統(tǒng)大事件（down機(jī)等）時間段，反饋的 問題會較集中，用戶反饋多為抱怨。

呈現(xiàn)在用戶研究報告中，也就是一句簡短陳述，如：旺鋪升級后一周內(nèi)的用戶反饋總結(jié)

【第二步 決定抽樣樣本】

包括決定以下三方面

1）內(nèi)容源：選擇從什么地方（幫派？問卷？…等）抽樣
2）時間：選擇在分析時間段的哪幾天（全段？隔天？隔周？）抽樣
3）內(nèi)容：對內(nèi)容進(jìn)行隨機(jī)或等距抽樣

這意味著研究員要對產(chǎn)品周期有充分的了解和認(rèn)識。在本例中，我們的抽樣樣本是，旺鋪升級后一周內(nèi) （7天）用戶通過旺鋪裝修頁面“提意見”入口（圖3）提交的所有數(shù)據(jù)。

——>

圖3：旺鋪用戶反饋收集入口

【第三步 確定分析單位】

分析單位是內(nèi)容分析中的最小元素， 要對此給出明確清晰的操作性定義。在本例中，分析單位就是一名用戶所陳述的一條意見。值得注意的是，并非以一次提交的數(shù)據(jù)為單位，因為一名用戶一次性可能 提交若干條意見，需要把意見拆開，每條為一個分析單位。如圖4所示，“刪除模塊刪完不能添加”、“發(fā)布完又回到裝修頁面”分別是一個分析單位。

圖4：分析單位舉例

【第四步 建立分類】

分類是內(nèi)容分析的關(guān)鍵步驟，決定了后續(xù)的定量分析的有效性。類別是內(nèi)容分析的基本單位，每個分析單位都能且只能歸入某類別中。在學(xué)術(shù)研究中，往往依據(jù)研究理論或參考過往研究結(jié)果來分類。在企業(yè)用研中，則要對產(chǎn)品有充分了解，并與產(chǎn)品經(jīng)理合作制定分類框架。因為這便于分配問題解決負(fù)責(zé)人。

窮盡、互斥是分類的兩大原則。分類應(yīng)涵蓋可能的問題范圍，但由于事前無法全面預(yù)知內(nèi)容，最好設(shè)立“其它”類以滿足窮盡性。若有≥10%的 分析單位被歸入“其它”，則分類不當(dāng)。類與類之間是不重合的，若有一個分析單位可歸入兩個或以上類別，則分類不當(dāng)，或分析單位不準(zhǔn)。

分多少類為合適？類別太多會導(dǎo)致某些類的分析單位少而失去統(tǒng)計意義；類別太少，不同性質(zhì)的分析單位歸入同一類，可能會掩蓋顯著性差 異?？紤]到將分類合并比將分類拆分容易，建議寧多勿少。在無從下手的情況下，可試檢驗50-100條分析 單位。

在本例中的分類如圖5——

圖5：旺鋪用戶反饋 的分類與說明

該分類傾向于以問題解決方（如系統(tǒng)問題由開發(fā)人員解決、功能需求由產(chǎn)品經(jīng)理解決、交互問題由設(shè)計 師解決）為基礎(chǔ)維度，便于推動改進(jìn)。對于頁面、功能有限的產(chǎn)品/流程，也可按照頁面或功能分類。對于本例，也有針對功能、頁面進(jìn)行分類，主要體現(xiàn)在二級編碼中，詳情見下。

【第五步 制作編碼表 試驗性編碼】

制作編碼表是在大分類的基礎(chǔ)上進(jìn)行 細(xì)化，以更好地聚焦問題。在這一步，要盡可能細(xì)致全面，才能保證有效的數(shù)據(jù)分析。對每個編碼的含義要有所說明，尤其在編碼者不止一人的情況下。在本例中， 對功能需求這一大分類的部分編碼如圖6，其原則是盡可能涵蓋所有功能。而對于系統(tǒng)問題、交互體驗問題，子編碼 又是應(yīng)內(nèi)容特點(diǎn)、以另外的維度設(shè)定的。

圖6：編碼表示例

在 編碼表制作好后，抽取50-100條分析單位（如100條反饋）進(jìn)行試編碼（coding），以檢驗是否夠細(xì)夠全。當(dāng)然了，在實際實施編碼（第六步）過 程中可能發(fā)現(xiàn)編碼不夠用的情況。此時只能新增編碼，并對該分類下的所有分析單位重新編碼。所幸的是——也是內(nèi)容分析的優(yōu)點(diǎn)之一——即使發(fā)現(xiàn)問題，能在不影 響數(shù)據(jù)本身準(zhǔn)確性和完好性的情況下彌補(bǔ)錯誤。不像問卷調(diào)研或現(xiàn)場實驗，一旦實施，有錯誤也無法彌補(bǔ)，只能拋棄數(shù)據(jù)。

【第六步 收集數(shù)據(jù) 實施編碼】

收集數(shù)據(jù)就是按照之前所定義好的范圍與抽樣 標(biāo)準(zhǔn)提取數(shù)據(jù)。通常將數(shù)據(jù)導(dǎo)入到EXCEL中進(jìn)行處理。在本例中，每條用戶意見（即最小分析單位）對應(yīng)一行（圖7）。

圖7：原始數(shù)據(jù)示例

然 后便可開始對每個分析單位進(jìn)行編碼，是純?nèi)斯さ倪^程。目前也有一些文本分析軟件可輔助，但這些基于分詞技術(shù)的軟件智能程度不足，且實施聚類分析對樣本量有 要求（至少上萬條），更適合用于海量文本數(shù)據(jù)的分類。

編碼過程可借助EXCEL的文本篩選功能。比如筆者用得較多的是“包含XX關(guān)鍵詞” 的篩選方式（圖8），能有效提高編碼效率。在過程中要把無意義的分析單位（如在本例中，會有用戶在反饋中打自己店鋪的廣告）給清理掉。

圖8：文本篩選功能 示例

初步編碼結(jié)果如下圖所示，接著便可進(jìn)入分析、報告階段。

圖9：編碼結(jié)果示例

【第 七步 分析 報告結(jié)果】

分析包括兩部分。定量部分使用描述性統(tǒng)計，計算各分類中條目、各個碼類的頻數(shù)、百分比。如果還能結(jié)合到其他變量，如用 戶的星級等，可進(jìn)行更復(fù)雜的交叉分析、卡方檢驗、t檢驗、方差分析等。定性部分，是對某子編碼下的所有條目進(jìn)行梳理，總結(jié)出問題點(diǎn)。

要注意的是，頻數(shù)、百分比不是衡量嚴(yán)重程度的唯一指標(biāo)。比如我們發(fā)現(xiàn)大量系統(tǒng)問題這一分類的用戶意見，但基本上說 的只是發(fā)布失敗和速度慢兩點(diǎn)。 功能需求這一分類下的意見總數(shù)相對較少，但問題有10余種。因此，定性與定量分析的結(jié)合，才能反映各分類對整體體驗（滿意或不滿意）的貢獻(xiàn)度大小，以及問題聚焦/分散程度。示例如下：

圖10：反饋總結(jié)示例

進(jìn) 一步的分析還包括對表象所隱含的問題的推斷。例如筆者發(fā)現(xiàn)圖11所示的問題。

圖11：深層分析示例

在企業(yè)中，內(nèi)容分析報告的輸出形式更靈活，關(guān)鍵在于有效傳達(dá)問題，推動問題的解決。尤其用戶反饋的內(nèi)容本身比用戶研究員的分析歸納更具沖擊力，更易引起同理心。

在本例中，筆者的輸出物包括：

原始數(shù)據(jù)EXCEL表，按分類將問題 分別放在不同sheet里（圖11）。在每一張sheet里，可通過篩選功能，看具體某個方面的用戶反饋原話。要注意的是，此時會把編碼重新轉(zhuǎn)化為文字描述便于理解。

圖12：EXCEL 輸出物示例

用戶反饋總結(jié)ppt，將各分類中的問題匯總羅列，用于向項目組宣講，并探討解決 方案。陳述問題時，可引用典型的用戶原話。比如有10個人反映同一問題，可選取問題表達(dá)最清晰或感情色彩最濃烈者的原話。本文來自：CDA數(shù)據(jù)分析師

本文介紹了內(nèi)容分析，以及內(nèi)容分析在企業(yè) 用戶研究中應(yīng)用的步驟與技巧。內(nèi)容分析的優(yōu)點(diǎn)有：1）相比實驗法、問卷法等，較為節(jié)省人力物力；2）內(nèi)容可被重復(fù)分析，可靠性較大；3）無需直接接觸研究 對象；4）操作過程若產(chǎn)生問題，錯誤易被彌補(bǔ)。它的缺點(diǎn)在于：1）人為因素（如如何分類、編碼）會極大影響結(jié)果；2）編碼工作需時較長、單調(diào)。