
為什么大數(shù)據(jù)技術(shù)并不一定總能解決問(wèn)題
在如今這個(gè)“酒香也怕巷子深”的時(shí)代,企業(yè)技術(shù)領(lǐng)域總是充斥著無(wú)數(shù)宣傳及炒作。具體到當(dāng)下,可能很多朋友都會(huì)把“大數(shù)據(jù)”技術(shù)看作是蘊(yùn)藏著自身企業(yè)所需答案的寶庫(kù)。然而 ,其并不總能踐行如此美好的承諾——至少可能與傳統(tǒng)所差別。
首先,讓我們談?wù)劦降资裁唇凶鞔髷?shù)據(jù)。事實(shí)上根據(jù)IDC的調(diào)查報(bào)告顯示,那些通常被稱(chēng)為大數(shù)據(jù)的信息——包括由企業(yè)資源規(guī)劃(簡(jiǎn)稱(chēng)ERP)、客戶關(guān)系管理(簡(jiǎn)稱(chēng)CRM)以及其它商務(wù)系統(tǒng)(包括目前企業(yè)常用的分析工具)等量化并捕捉到的海量數(shù)據(jù)——事實(shí)上只占企業(yè)平均數(shù)據(jù)總量的10%左右。
而其余部分則可以稱(chēng)作“非結(jié)構(gòu)化”或者說(shuō)“質(zhì)化”數(shù)據(jù),而這部分?jǐn)?shù)據(jù)在內(nèi)容上相當(dāng)混亂。這類(lèi)信息可能來(lái)自客戶調(diào)查、響應(yīng)記錄、在線論壇、社交媒體、文件、視頻、新聞報(bào)道、指向服務(wù)中心的通話以及由銷(xiāo)售團(tuán)隊(duì)收集到的趨勢(shì)性論據(jù)等等。這類(lèi)內(nèi)容通常以文本而非數(shù)字的形式存在,這就意味著其很難被“量化”,或者說(shuō)轉(zhuǎn)化成數(shù)值形式。
這就產(chǎn)生了新的問(wèn)題。雖然大部分分析工具都能夠?qū)崿F(xiàn)信息量化——換言之,也就是數(shù)字處理——但非結(jié)構(gòu)化數(shù)據(jù)當(dāng)中通常包含大量背景信息,這意味著企業(yè)需要找到適合的理解角度才能讓這些信息產(chǎn)生價(jià)值。
“數(shù)據(jù)帶來(lái)的問(wèn)題往往要比結(jié)論更多,而我們總是需要就定性數(shù)據(jù)趨勢(shì)背后的‘為什么’作出一番證明?!盕orrester調(diào)查公司分析師Anjali Lai指出?!叭绻诩芸毡尘爸逻M(jìn)行數(shù)據(jù)分析,那我們往往無(wú)法把握事情的全貌。而定性數(shù)據(jù)則能夠提供這一必要的背景視角?!?/span>
想象一下,大家所在的公司希望理解為什么在線銷(xiāo)售額度一直無(wú)法達(dá)到預(yù)期。要解決這個(gè)問(wèn)題,大家可以斥資購(gòu)置昂貴的營(yíng)銷(xiāo)分析工具,從而獲得用戶在各頁(yè)面上的平均瀏覽時(shí)間或者用戶取消購(gòu)物車(chē)內(nèi)容的比例等基于行為的重要數(shù)據(jù)。不過(guò)即使擁有大量此類(lèi)數(shù)據(jù),我們?nèi)匀晃幢啬軌蛟凇盀槭裁础边@道方程題中得出正確的答案。
“大家可能很清楚,自己的網(wǎng)站每天擁有一萬(wàn)名訪問(wèn)者——這就是定性數(shù)據(jù),”YouEye公司首席產(chǎn)品官Collin Sebastian指出,這是一家專(zhuān)門(mén)針對(duì)定性數(shù)據(jù)設(shè)計(jì)軟件與服務(wù)產(chǎn)品的企業(yè)?!岸ㄐ詳?shù)據(jù)能夠告訴我們,其中有四千名訪客對(duì)于特定產(chǎn)品類(lèi)型很感興趣,他們希望了解什么、哪些內(nèi)容屬于意外情況,他們又會(huì)選擇哪些產(chǎn)品作為替代選項(xiàng)等。”
定性數(shù)據(jù)的重要意義絕不僅限于確定數(shù)據(jù)點(diǎn)之間的關(guān)聯(lián)性,例如告訴我們哪些訪客在網(wǎng)站上停留的時(shí)間更長(zhǎng)、購(gòu)物的意愿更強(qiáng)烈。除此之外,定性數(shù)據(jù)還可以識(shí)別出因果關(guān)系,從而回答那些難以捉摸的“為什么”問(wèn)題。訪客為什么會(huì)在我們的網(wǎng)站上耗費(fèi)更長(zhǎng)時(shí)間——這到底是因?yàn)榫W(wǎng)站內(nèi)容足夠精彩,還是單純因?yàn)槲覀冊(cè)O(shè)計(jì)的購(gòu)物過(guò)程太過(guò)繁瑣?
“當(dāng)前,每位CMO需要管理的信息儀表板平均達(dá)14套之多,”Sebastian表示?!斑@就是最為典型的分析癱瘓案例:我擁有1000萬(wàn)個(gè)數(shù)據(jù)點(diǎn),從17種不同的角度對(duì)我的問(wèn)題作出審視——但我還是不具備能夠真正理解其涵義的必要背景信息?!?/span>
從歷史角度講,對(duì)定性數(shù)據(jù)的分析往往需要以手動(dòng)方式進(jìn)行——也就是屬于人力密集型工作。“我們根本不可能單純?cè)谑占綌?shù)據(jù)之后向文件數(shù)據(jù)庫(kù)提交查詢,并指望著其返回一項(xiàng)可視化結(jié)果,”Booz Allen Hamilton公司首席數(shù)據(jù)科學(xué)家Kirk Borne解釋道。
定性數(shù)據(jù)分析的結(jié)果一般會(huì)被限制在特定范圍當(dāng)中,但這種狀況目前已經(jīng)開(kāi)始扭轉(zhuǎn)。除了市面上開(kāi)始出現(xiàn)更多專(zhuān)門(mén)針對(duì)定性工具設(shè)計(jì)的工具及軟件包之外,我們還擁有了“越來(lái)越多理想的定性數(shù)據(jù)向量化數(shù)據(jù)轉(zhuǎn)換的途徑,并能夠借此讓定性分析在定性數(shù)據(jù)當(dāng)中充分發(fā)揮潛能,”Borne指出。
YouEye是一款利用視頻與音頻記錄用戶同客戶網(wǎng)站內(nèi)容、廣告或其它素材交互流程的在線工具。一般來(lái)講,每次調(diào)查所選取的用戶數(shù)量會(huì)在50位到300位之間,具體取決于客戶要求。視頻利用人工編碼、自然語(yǔ)言處理及機(jī)器學(xué)習(xí)等機(jī)制進(jìn)行轉(zhuǎn)錄與編碼。在處理接近尾聲時(shí),客戶能夠得到一份包含強(qiáng)調(diào)部分的調(diào)查結(jié)果。
舉例來(lái)說(shuō),如果客戶是一家咖啡供應(yīng)商,“我們會(huì)通過(guò)產(chǎn)品互動(dòng)情況匯總出一套包含強(qiáng)調(diào)部分的調(diào)查報(bào)告,其中突出體現(xiàn)了每一次客戶提到其它競(jìng)爭(zhēng)對(duì)手的情況,”Sebastian表示?!斑@樣大家就能立即對(duì)客戶流失狀況作出因果分析——而這顯然并不是定性數(shù)據(jù)能夠?qū)崿F(xiàn)的效果。”
QSR International是另一家利用定制化軟件專(zhuān)門(mén)處理定性數(shù)據(jù)的企業(yè),其N(xiāo)Vivo產(chǎn)品已經(jīng)為Gallup所采用。除了廣為人知的全國(guó)民調(diào)服務(wù)之外,Gallup也以咨詢方的身份幫助企業(yè)了解客戶關(guān)系當(dāng)中的情感狀況,而這自然會(huì)涉及到大量定性數(shù)據(jù)。
“一部分關(guān)鍵性研究問(wèn)題需要單獨(dú)通過(guò)定性方式處理,其中包括客戶為什么會(huì)主動(dòng)疏離或者對(duì)供應(yīng)商的服務(wù)表現(xiàn)出冷漠態(tài)度,乃至其在體驗(yàn)客戶服務(wù)過(guò)程當(dāng)中表現(xiàn)出的動(dòng)機(jī)與思維過(guò)程,”Gallup研究與策略顧問(wèn)Ilana Ron-Levey指出?!爱?dāng)我們與企業(yè)建立合作關(guān)系之后,定性數(shù)據(jù)能夠幫助我們了解到特定觀點(diǎn)的廣泛性,同時(shí)也是我們了解其背后特定規(guī)律及分布含義的關(guān)鍵所在,”她解釋道。
Gallup方面還利用一系列技術(shù)手段評(píng)估客戶心態(tài)。舉例來(lái)說(shuō),在最近一個(gè)B2B項(xiàng)目當(dāng)中,Gallup方面就面對(duì)面采訪了100多位高級(jí)客戶,并以客戶參與度為核心 收集到了大量定性與量化數(shù)據(jù),Ron-Levey表示。該團(tuán)隊(duì)還利用NVivo以及微軟Excel手動(dòng)編碼的方式對(duì)定性數(shù)據(jù)進(jìn)行分析。
有了這些分析結(jié)果,Gallup利用定性響應(yīng)以統(tǒng)計(jì)方式解釋了影響客戶參與度的諸多因素。其利用定性數(shù)據(jù)描述了這些因素如果驅(qū)動(dòng)客戶的所見(jiàn)內(nèi)容及感受。以此為基礎(chǔ),“我們收集到了多種能夠切實(shí)提高不同類(lèi)型客戶參與度的執(zhí)行策略,”她表示。
在軟件當(dāng)中處理定性數(shù)據(jù)通常需要為其賦予數(shù)值形式,例如為特定定性響應(yīng)或者評(píng)論分配一個(gè)數(shù)值等級(jí)或者分值。比如在情緒分析當(dāng)中,研究人員通常會(huì)利用一個(gè)正值或者負(fù)值來(lái)表示定性數(shù)據(jù),而后再分配另一個(gè)數(shù)值來(lái)描述這種情緒的具體強(qiáng)度,Born指出。
文本分析包括以定性方式——例如議題模型及熱圖——對(duì)文本信息的內(nèi)容進(jìn)行總結(jié),而自然語(yǔ)言與語(yǔ)義處理技術(shù)則能夠從語(yǔ)音當(dāng)中提取出真實(shí)含義——包括書(shū)面與口頭兩類(lèi)。
將定性數(shù)據(jù)轉(zhuǎn)化成量化形式可能會(huì)涉及到一些主觀決策?!斑@是一大挑戰(zhàn),但其中同時(shí)也充滿了機(jī)遇,”Borne指出?!罢Z(yǔ)言當(dāng)中包含著大量微妙且復(fù)雜的內(nèi)容,我們可以將其提取出來(lái)進(jìn)行深度理解,從而更加準(zhǔn)確地把握其含義?!?/span>
QSR的NVivo產(chǎn)品中已經(jīng)采用了一系列算法,能夠通過(guò)常用詞匯或者句型對(duì)數(shù)據(jù)進(jìn)行分析。有了大量可視化工具,我們能夠更加輕松地解讀數(shù)據(jù)內(nèi)容——包括關(guān)鍵字云與樹(shù)狀圖。
“這讓我們能夠以強(qiáng)大且可靠的可視化角度獲取觀點(diǎn)及其深層原因,”QSR公司CEO John Owen表示。
定性數(shù)據(jù)收集工作往往相當(dāng)費(fèi)時(shí),需要研究人員擁有高超的技巧并建立起和諧的關(guān)系,從而降低對(duì)受訪者意見(jiàn)的理解偏差,效力于Gallup的Ron-Levey指出。
“作為一項(xiàng)長(zhǎng)期被低估甚至忽視的重要技能,定性數(shù)據(jù)研究人員需要擁有移情能力,”Forrester公司的Lai表示贊同?!岸壳暗臓顩r是,定性研究人員往往單純依靠編程而非深入考量背景信息或者潛臺(tái)詞的方式進(jìn)行數(shù)據(jù)分析。”
處理數(shù)據(jù)并確保研究模型切實(shí)生效同樣不是件簡(jiǎn)單的事。大家可能需要從無(wú)到有對(duì)一整套量化數(shù)據(jù)集進(jìn)行規(guī)范化處理,但這項(xiàng)任務(wù)在面對(duì)定性數(shù)據(jù)時(shí)會(huì)變得非常艱難,Borne指出。
“標(biāo)準(zhǔn)統(tǒng)計(jì)測(cè)試往往會(huì)對(duì)假設(shè)甲與假設(shè)乙進(jìn)行比對(duì),但對(duì)于同時(shí)包含多種理解方式的定性數(shù)據(jù)來(lái)說(shuō),這樣的直接假設(shè)根本無(wú)法生效,”他進(jìn)一步解釋稱(chēng)。
而從分析的角度出發(fā),理解方式在推廣過(guò)程中往往會(huì)超出樣本數(shù)據(jù)集的涵蓋范圍,Ron-Levey提醒道。
不過(guò)值得肯定的是,妥善打理定性數(shù)據(jù)確實(shí)能夠帶來(lái)令人欣慰的回報(bào)。
“在大數(shù)據(jù)時(shí)代之下,我們開(kāi)始不斷探索數(shù)字背后所隱藏的真正意義,”Ron-Levey表示。“通過(guò)這種方式了解人們的感受、動(dòng)機(jī)以及觀點(diǎn)將幫助企業(yè)建立起創(chuàng)新成果與新的運(yùn)營(yíng)戰(zhàn)略,從而吸引到更多客戶的關(guān)注?!?/span>
Forrester公司的Lai亦表示,“定性與量化觀點(diǎn)可以說(shuō)是客戶情緒認(rèn)知工作中的‘陰與陽(yáng)’兩面,只有將二者結(jié)合起來(lái),才能真正得到與消費(fèi)者行為相關(guān)的完整結(jié)論?!?/span>
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱(chēng) BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專(zhuān)注于從單 ...
2025-07-09year_month數(shù)據(jù)類(lèi)型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類(lèi)型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門(mén)控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書(shū)考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專(zhuān)業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開(kāi)啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03