讓數(shù)據(jù)站住腳-淺談?dòng)脩粞芯恐械男哦扰c效度

在用戶研究工作中，如何讓自己的數(shù)據(jù)和結(jié)論更有說服力，是很重要的問題。最近將自己積累的用研信度和效度的筆記整理一下，羅列在文中，希望對(duì)大家有所幫助。

一、調(diào)查的質(zhì)量取決于調(diào)查的信度和效度。

信度主要指測(cè)量結(jié)果的一致性、穩(wěn)定性。也就是說結(jié)論和數(shù)據(jù)是否反映了用戶最真實(shí)穩(wěn)定的想法。用戶在回答問題的時(shí)候，往往會(huì)受到環(huán)境、時(shí)間、當(dāng)時(shí)當(dāng)?shù)氐那榫w影響，而作出并不真實(shí)的想法，即會(huì)有隨機(jī)誤差。信度就是衡量這種隨機(jī)誤差對(duì)用戶想法的影響大小。

效度是指多大程度上測(cè)量了你想要測(cè)量的東西。

對(duì)某個(gè)產(chǎn)品用研，我們現(xiàn)在用得最多是用戶訪談、問卷調(diào)查和可用性測(cè)試。而在這幾個(gè)過程中都會(huì)涉及信度和效度的問題。

二、用戶訪談中的效度和信度

1. 訪談不能僅僅局限于用戶

任何一個(gè)產(chǎn)品項(xiàng)目都會(huì)受到市場(chǎng)環(huán)境、公司戰(zhàn)略、技術(shù)力量、平臺(tái)規(guī)范和流行趨勢(shì)等各個(gè)方面的影響。對(duì)某一產(chǎn)品的需求，可能來自用戶、產(chǎn)品、技術(shù)、交互以及視覺。不同崗位人員看待產(chǎn)品的角度不一樣，側(cè)重點(diǎn)也不一樣，找多個(gè)角色有助于把需求找全，不遺漏，所以必須提前了解他們的需求。這樣才能使我們的研究更有針對(duì)性、全面性、有用性。有用程度、全面程度是效度的重要組成部分。

2. 巧妙的選擇訪談?dòng)脩?/span>

通常，前期深度訪談的用戶數(shù)量不會(huì)太多，所以用戶條件一定要把握適當(dāng)。反饋的問題才能全面、合理、有用。

比如是做Android平臺(tái)上的某一軟件。

首先Android新手用戶和熟練用戶都是必須的，熟練用戶更能反映android用戶習(xí)慣性操作方式、平臺(tái)特點(diǎn)、以及長(zhǎng)期使用過程中積累的意見和建議；而新手用戶可以更好的反映該平臺(tái)哪些地方存在學(xué)習(xí)困難，從而通過我們的設(shè)計(jì)幫助用戶去降低學(xué)習(xí)成本。

其次非Android平臺(tái)用戶也是必須的，可以從側(cè)面了解他們不用Android的原因。從而幫助產(chǎn)品挖掘更多潛在用戶提供方向。

人口學(xué)信息（學(xué)歷、職業(yè)、性別、年齡）要覆蓋全面。不同屬性的用戶看重地方會(huì)存在差異。需求也會(huì)不一樣。

包含競(jìng)品用戶。通過了解用戶對(duì)競(jìng)品的評(píng)價(jià)，可以提煉出競(jìng)品的優(yōu)劣勢(shì)，從而為增強(qiáng)產(chǎn)品競(jìng)爭(zhēng)力提供方向。

3. 一定要有專家

專家是重要的信息攜帶者。李樂山教授說專家有三類，用戶專家、制造專家、市場(chǎng)銷售專家，他指出判斷某人是否是專家的標(biāo)準(zhǔn)是：（1）能夠熟練使用一種產(chǎn)品；（2）能夠比較同類產(chǎn)品；（3）有關(guān)的新知識(shí)容易整合到自己的知識(shí)結(jié)構(gòu)中；（4）具有10年專業(yè)經(jīng)驗(yàn)；（5）積累大量經(jīng)驗(yàn)并且在使用經(jīng)驗(yàn)方面具有絕招；（6）了解有關(guān)的歷史（該產(chǎn)品設(shè)計(jì)史、技術(shù)發(fā)展史等）；（7）關(guān)注產(chǎn)品發(fā)展趨勢(shì);（8）知識(shí)鏈或者思維鏈比較長(zhǎng)，提起任何一個(gè)有關(guān)話題，他們都能夠談出大量的有關(guān)信息；（9）能夠提出改進(jìn)或創(chuàng)新的建議，他們的創(chuàng)新或改進(jìn)方案，其高水平體現(xiàn)在采用簡(jiǎn)單方法解決復(fù)雜問題。

對(duì)于互聯(lián)網(wǎng)，專家應(yīng)該指的是用戶專家、開發(fā)專家、設(shè)計(jì)專家以及產(chǎn)品專家；他們憑借豐富的經(jīng)驗(yàn)，系統(tǒng)全面的掌握行業(yè)同類產(chǎn)品、開發(fā)及設(shè)計(jì)模式、歷史及發(fā)展趨勢(shì)、專業(yè)水平極高。他們可以為我們提供很多我們始料未及的建議。這是保證用研過程，特別是對(duì)于后期問卷結(jié)構(gòu)效度有很大的作用。

三、問卷調(diào)查與分析中的信度與效度

為了提高工作效率，問卷調(diào)查往往采用網(wǎng)絡(luò)調(diào)查的方法，信度效度問題出現(xiàn)的可能性就更大。

最近看到一些滿意度調(diào)查是采用量表加結(jié)構(gòu)方程模型（SEM）的方式。我們看看哪些地方可能會(huì)出現(xiàn)信度和效度的問題。

1. 理論模型支持

由于SEM進(jìn)行的是驗(yàn)證性因子分析，是檢驗(yàn)而不是探索新的模型，因此，整個(gè)因果關(guān)系的假設(shè)必須有強(qiáng)有力的理論支持和嚴(yán)密的邏輯框架。包括模型中變量關(guān)系的假定、指標(biāo)的選取、甚至測(cè)度項(xiàng)的表達(dá)方式等。如果最終輸出的模型和理論模型結(jié)構(gòu)不符，那么該模型是沒有任何說服力的。比如用ACSI模型作為滿意度的理論模型時(shí)，是否真的按照感知質(zhì)量、感知價(jià)值、顧客期望這幾個(gè)層面去設(shè)計(jì)問卷？

2. 保證份量

普通抽樣調(diào)查中原則上是越多越好，但遇到目標(biāo)用戶較少的情況，只要保證一定的條件就ok的，樣本量受到置信區(qū)間、抽樣誤差范圍的影響，可根據(jù)實(shí)際的況測(cè)算出最小樣本量。常用的公式是：

14N=Z2蟽2d2′<（N為樣本量、Z為置信區(qū)間、d為抽樣誤差范圍、 14蟽’< 為標(biāo)準(zhǔn)差，常取0.5）

但對(duì)于結(jié)構(gòu)方程模型大樣本是必須的，SEM中涉及的變量眾多，變量間的關(guān)系很復(fù)雜交錯(cuò)，小樣本量會(huì)導(dǎo)致模型不穩(wěn)定，收斂失敗進(jìn)而影響模型中參數(shù)。朱遠(yuǎn)程等[1]在文獻(xiàn)中指出，當(dāng)樣本低于100時(shí)，幾乎所有的結(jié)構(gòu)方程模型分析都是不穩(wěn)定的，大于200以上的樣本，才稱得上一個(gè)中型樣本。若要得到穩(wěn)定的結(jié)構(gòu)方程模型結(jié)構(gòu)，低于200的樣本數(shù)量是不鼓勵(lì)的。有些學(xué)者將最低樣本量與模型變量結(jié)合在一起，建議樣本數(shù)至少應(yīng)為變量的十倍，這一規(guī)則經(jīng)常被引用。模型中變量越多，對(duì)大樣本的要求就越高。

3. 變量需遵循原則

a. SEM模型中各變量的函數(shù)關(guān)系要是線性的，否則是不能用回歸計(jì)算路徑系數(shù)的。

b. 在使用最大似然估計(jì)法時(shí)，變量一定要是多元正態(tài)分布的，這就要求指標(biāo)要呈正態(tài)分布，否則就要對(duì)指標(biāo)進(jìn)行正態(tài)處理才行。

c. 變量間的多重共線性程度要低，否則路徑系數(shù)會(huì)有很大誤差。

d. SEM建立的過程中會(huì)不斷的修正才能得到比較完美的模型，比如因子分析時(shí)，若發(fā)現(xiàn)某一測(cè)度項(xiàng)對(duì)應(yīng)的因子載荷過小，就會(huì)人為的將該測(cè)度項(xiàng)刪除，但是若模型建立之后，一些變量對(duì)應(yīng)了4~5個(gè)測(cè)度項(xiàng)，一些變量只剩下1~2個(gè)測(cè)度項(xiàng)，那么我們就需要思考只有兩個(gè)測(cè)度項(xiàng)的變量是否被完全解釋，這僅有的兩個(gè)測(cè)度項(xiàng)就全面真實(shí)的反映該變量么？如果是這樣，就算KMO、Bartlett、因子載荷都通過了，效度也是難以保證的。所以問卷前期需要反復(fù)的預(yù)調(diào)研，不斷的對(duì)問題進(jìn)行修正，而不是隨意的人為刪除。我學(xué)生時(shí)代對(duì)淘寶滿意度進(jìn)行調(diào)查時(shí)，就犯了類似的錯(cuò)誤，模型中的“互動(dòng)性”片段，互動(dòng)性由四個(gè)變量衡量，其中“雙向溝通性”一開始設(shè)計(jì)的時(shí)候由5個(gè)測(cè)度項(xiàng)支持，但是因子分析檢驗(yàn)通不過，就直接將因子載荷比較小的客服、論壇、淘江湖三者去掉了，最后雖然在數(shù)據(jù)上通過了信度效度檢驗(yàn)，但是只有阿里旺旺、留言板這兩個(gè)測(cè)度項(xiàng)支持是絕對(duì)不能解釋“雙向溝通性”的。

4. 數(shù)據(jù)質(zhì)量是根源

要使模型結(jié)構(gòu)穩(wěn)定有效，首先要保證數(shù)據(jù)質(zhì)量，反復(fù)檢驗(yàn)問卷的信度。

a. 不同時(shí)間的一致性。

在設(shè)計(jì)問卷時(shí)，可以將同樣的問題對(duì)同一個(gè)人重復(fù)測(cè)試，如果這兩道題得到的答案是不一致的，相關(guān)系數(shù)（Pearson r）小于0.7，那么這份問卷的穩(wěn)定信度就值得考量。

假如問卷樣本足夠大，可以一分為二（每一個(gè)樣本也要保證足夠樣本量），分別建立兩個(gè)模型；通過對(duì)比兩個(gè)模型中參數(shù)的差異，便可以檢驗(yàn)該模型的穩(wěn)定性和適用性。如果兩者差異太大，就說明模型本身是有問題的。

b. 不同形式的一致性

用內(nèi)容等效但表達(dá)方式不同的兩份問卷調(diào)查，檢測(cè)兩者的等效信度，比如Gamma系數(shù)。

c. 內(nèi)在一致性

問卷中相關(guān)的問題為同樣的目標(biāo)服務(wù)，他們?cè)谶壿嬕恢?，也就是同質(zhì)的。首先要測(cè)量每個(gè)測(cè)度項(xiàng)與總體的相關(guān)性（item-total correlation），然后再測(cè)量同一變量下相關(guān)問題間的同質(zhì)性，而對(duì)于不同的提問方式選擇對(duì)應(yīng)的方法：比如,對(duì)于李克特量表方法，就用Chronbach系數(shù)檢驗(yàn)；在基礎(chǔ)研究中，信度至少應(yīng)達(dá)到 0.80 才可接受，在探索性研究中，0.70 可接受，0.70－0.98 為高信度,小于0.35 為低信度。對(duì)于是非題則采用kuder-Richardson系數(shù)檢驗(yàn)。在進(jìn)行內(nèi)在一致性檢驗(yàn)時(shí)，要看題目選項(xiàng)是否反序，如果兩道題都是問“對(duì)該產(chǎn)品是否滿意”，一道7代表滿意，1代表不滿意；另一道1代表滿意，7代表不滿意，這樣就會(huì)影響信度。遇到這種情況要提前人為調(diào)整過來。

5. 看得更遠(yuǎn)一點(diǎn)

問卷結(jié)論不僅要解決當(dāng)前的問題和需求，還有具有一定的預(yù)測(cè)作用，市場(chǎng)是變化的，當(dāng)前的目標(biāo)用戶不一定就是未來的（或者下一個(gè)版本的）目標(biāo)用戶，比如目標(biāo)用戶的收入可能有增加的趨勢(shì)，某一平臺(tái)的使用率在快速提高，當(dāng)前的滿意度模型可能在一個(gè)月之后就不適用了（比如新功能點(diǎn)的出現(xiàn)）。

假設(shè)我們要對(duì)QQ影音進(jìn)行滿意度調(diào)查，現(xiàn)在建立了一個(gè)滿意度模型，但若下個(gè)月QQ影音中多了一個(gè)重要的功能，對(duì)整個(gè)滿意度的提升產(chǎn)生了很大作用，那么，模型中各項(xiàng)的路徑系數(shù)會(huì)不會(huì)產(chǎn)生變化？該模型在下個(gè)月可能就不適用了，造成的后果就是當(dāng)前的滿意度值與下個(gè)月的滿意度值沒有可比性了，很多工作也就白費(fèi)了。所以，諸如滿意度模型這樣的研究，是需要反復(fù)調(diào)查，長(zhǎng)期對(duì)該滿意度模型進(jìn)行監(jiān)控和修正，以求得到最穩(wěn)定的模型，就可以讓模型會(huì)具有很預(yù)測(cè)和比對(duì)作用啦。

6.關(guān)注細(xì)節(jié)

a. 問卷設(shè)計(jì)中題項(xiàng)表述不能出現(xiàn)歧義、避免太專業(yè)詞匯以及誘導(dǎo)詞匯

b. 選項(xiàng)間要有明確的區(qū)分（互斥）

c. 避免遺漏，“其他”選項(xiàng)是必須的，而且最好配有輸入框，記憶中，每次問卷調(diào)查中都能從“其他”選項(xiàng)中獲取大量信息。

d. 一般題項(xiàng)不能太多，設(shè)置問題選項(xiàng)的時(shí)候，盡可能的讓選項(xiàng)隨機(jī)顯示，特別是在選項(xiàng)較多的情況下。

e. 數(shù)據(jù)處理過程中刪除重復(fù)項(xiàng)矛盾項(xiàng)之外，最好能統(tǒng)計(jì)到用戶填寫問卷的時(shí)間差。如果整個(gè)填寫的時(shí)間極短，完全可以判定用戶沒有認(rèn)真填寫。

f. 極端的、離群的選項(xiàng)可以考慮將其刪除。

四、可用性測(cè)試中的信度與效度

首先保證，主持人的態(tài)度親切、測(cè)試前隨意聊聊彼此熟悉、測(cè)試提綱清晰全面。另外，以下幾點(diǎn)也對(duì)保證測(cè)試的信度和效度很重要。

1. 不要忽略異想天開

腦暴中要求彼此不能批評(píng)，在進(jìn)行訪談或測(cè)試中，也不能對(duì)用戶某些操作做出評(píng)論，否則用戶很有可能隱藏內(nèi)心真實(shí)的感受。關(guān)注并記錄用戶出錯(cuò)，但是用戶出錯(cuò)時(shí)態(tài)度要中立。

通常，用戶在體驗(yàn)的真實(shí)的原型后，會(huì)產(chǎn)生很多看似異想天開的訴求，有些雖然在當(dāng)前不能實(shí)現(xiàn)，但是會(huì)為未來發(fā)展提供很多思路和方向。所以，我們要積極鼓勵(lì)用戶進(jìn)行思維發(fā)散。

2. 前后驗(yàn)證、競(jìng)品比對(duì)

在測(cè)試完成后，可以加上一個(gè)總體調(diào)查問卷，一者讓用戶對(duì)自己體驗(yàn)的各個(gè)功能點(diǎn)有一個(gè)回顧和比較，同樣也可以驗(yàn)證用戶體驗(yàn)過程的態(tài)度和最終的態(tài)度是否具有一致性。如果存在不一致，應(yīng)該進(jìn)一步追問理由，確定用戶的真實(shí)想法。

測(cè)試時(shí)，讓用戶體驗(yàn)競(jìng)品，并作出比較，也是發(fā)現(xiàn)有效信息的途徑。

3. 敏銳觀察

測(cè)試中，除了按照已定的提綱進(jìn)行問答之外，過程中還要敏銳的觀察用戶一些細(xì)微的表情、停留、思考。不但要了解用戶對(duì)個(gè)功能點(diǎn)如何評(píng)價(jià)的，還要知道用戶做某一任務(wù)過程中，是怎么思考、計(jì)劃、實(shí)施的，用戶的第一反應(yīng)、習(xí)慣性的操作、思維路線的作用遠(yuǎn)遠(yuǎn)大于單純的評(píng)價(jià)。用戶任務(wù)完成之后，要追問用戶如此操作的原因。

4. 記錄原話并習(xí)慣性確認(rèn)

測(cè)試結(jié)論要有用戶的原話支持，不能輕易的改變用戶的表述。和用戶交流過程中，要習(xí)慣性的問：“請(qǐng)問你的意思是……?”“我這樣理解你的意思，你看對(duì)么……?”以保證測(cè)試結(jié)論的效度。

5. 必要時(shí)進(jìn)行入戶調(diào)查

首先，入戶調(diào)查會(huì)大大減少外界環(huán)境的影響，用戶在自己的空間中，會(huì)更真實(shí)的反映常見的問題。其次，入戶調(diào)查一般是在用戶畫像提取出來之后，按照用戶畫像描述的屬性，有意識(shí)有針對(duì)性去挑選具有某些典型屬性的對(duì)象進(jìn)行深入、全面、系統(tǒng)調(diào)查（典型調(diào)查），比如某一產(chǎn)品的目標(biāo)用戶，他們反映的問題，代表性強(qiáng)，往往有以一當(dāng)十的功效，避免了非目標(biāo)用戶信息造成的干擾。

6. 用戶條件與數(shù)量

參與測(cè)試用戶根據(jù)目標(biāo)用戶特征選擇。

一般衡量測(cè)試是否需要繼續(xù)進(jìn)行的方法是：看是否發(fā)現(xiàn)新的問題，如果有新的問題，就應(yīng)該繼續(xù)，反之，可以結(jié)束。

Neilson研究結(jié)果表明，5名用戶的測(cè)試可以發(fā)現(xiàn)85%的可用性問題。而在我們?cè)谝酝目捎眯詼y(cè)試經(jīng)驗(yàn)中，用戶數(shù)一般定為6個(gè)，基本上能發(fā)現(xiàn)全部問題。當(dāng)然任何數(shù)字都只是一個(gè)參考，用戶數(shù)量最好根據(jù)具體的測(cè)試情況（衡量時(shí)間、資源、投入產(chǎn)出比）而定?？傊?，關(guān)鍵在于是否有新的問題出現(xiàn)。CDA 數(shù)據(jù)分析師 官網(wǎng)