
從傳統(tǒng)研究模式穿越到大數(shù)據(jù)“星際”
大數(shù)據(jù),不再只是通過傳統(tǒng)的研究方式影響世界,它所擅長的預(yù)測和探索未來趨勢的能力,成為其當(dāng)下最受熱議的話題。
大數(shù)據(jù)(Big Data)本世紀(jì)初最早作為技術(shù)術(shù)語出現(xiàn)于海量信息檢索領(lǐng)域,后續(xù)在IT領(lǐng)域逐步傳播,并在2009年后隨著云計算應(yīng)用逐步受到更多關(guān)注。IBM首先對其進(jìn)行商業(yè)化定義,并于2011年率先推出業(yè)務(wù)解決方案。此后,大數(shù)據(jù)更多作為業(yè)務(wù)概念迅速應(yīng)用到社會各領(lǐng)域,并在近兩年引發(fā)無限的價值遐想和業(yè)務(wù)熱潮。
相對層出不窮的各種商業(yè)化包裝和定義,4V(Volume-規(guī)模體量大,Variety-格式多樣,Velocity-高速處理,Value-巨大價值) 理論通過4個核心特征樸素而準(zhǔn)確地來描述了大數(shù)據(jù)。由于相關(guān)的介紹頗多,這里不再贅述,我們主要從價值開始對大數(shù)據(jù)的討論。
1 大數(shù)據(jù)下,價值法則并沒有變化
如果根據(jù)大數(shù)據(jù)的4V特性進(jìn)行暢想,當(dāng)我們以Velocity能力達(dá)到了Volume和Variety的處理需求,Value 是否就水到渠成了呢,答案并不是這樣。因為數(shù)據(jù)的價值法則并沒有變:數(shù)據(jù)只有分析后才有價值,而價值的多少取決于分析的深度和能力。
市場研究行業(yè)作為一個通過深入分析數(shù)據(jù)產(chǎn)生價值的行業(yè),更有希望在大數(shù)據(jù)環(huán)境下獲得廣闊的發(fā)揮空間。但實際上,相對于技術(shù)性驅(qū)動的新興的跨界競爭對手(互聯(lián)網(wǎng)平臺性企業(yè)/技術(shù)性數(shù)據(jù)服務(wù)企業(yè)等)的活躍,傳統(tǒng)市場研究公司反應(yīng)相對遲緩而被動。
針對這個問題,技術(shù)決定論認(rèn)為是研究公司技術(shù)能力短板問題;而代替論則認(rèn)為傳統(tǒng)研究方式不適用于大數(shù)據(jù),大數(shù)據(jù)下的研究方式(如個性化/預(yù)測)將徹底代替?zhèn)鹘y(tǒng)研究方法。
筆者在大數(shù)據(jù)相關(guān)技術(shù)領(lǐng)域有深入的背景,近幾年又在市場研究行業(yè)工作,對研究業(yè)務(wù)特性相對比較熟悉。因此更適合從一種綜合的角度看待這些問題。下文中,筆者將做相關(guān)的討論。
2 傳統(tǒng)市場研究與大數(shù)據(jù)研究的方法論
針對前面技術(shù)決定論的觀點,筆者作為資深I(lǐng)T人員,實際也不敢茍同。大數(shù)據(jù)業(yè)態(tài)下,技術(shù)對市場研究的推動力是大了很多,但不是包打天下:它更多提升了分析的能力,并不是深度和專業(yè)性。而研究方法替代論的觀點,則是把傳統(tǒng)研究和大數(shù)據(jù)的研究方法論置于一種對立的角度來看問題。
正如天體物理學(xué)是我們離開地球遨游新星際的理論基礎(chǔ),研究方法論也是研究公司遨游數(shù)據(jù)空間的基本依據(jù)。如何從傳統(tǒng)數(shù)據(jù)空間快速進(jìn)入大數(shù)據(jù)空間,首先我們要從研究方法論角度進(jìn)行辯證的分析
傳統(tǒng)研究方法論和大數(shù)據(jù)下的新方法論,是不是真的對立或者替代的呢?我們不妨從更高的角度(以數(shù)據(jù)為統(tǒng)一點,把傳統(tǒng)數(shù)據(jù)與大數(shù)據(jù)納入一個數(shù)據(jù)時空)來看兩者的特點與關(guān)系(如下圖)
從上圖可以看到:
(1) 市場研究公司的傳統(tǒng)方法論,其關(guān)注是全局/群體的特性,力求發(fā)掘現(xiàn)象原因(Why),從而去做改進(jìn)或者變化。而大數(shù)據(jù)的新方法論則更關(guān)注個體性/局部,更擅長對未來的預(yù)測(Future)。也就是說,兩者適合各自適合解決不同研究目的的問題。
(2) 傳統(tǒng)方法論與大數(shù)據(jù)方法論在數(shù)據(jù)空間可并行應(yīng)用,并不割裂。尤其是前者的分析思路仍然可以適用于大數(shù)據(jù)環(huán)境,而后者是在更大數(shù)據(jù)空間下對分析方式的擴(kuò)展。
所以,兩種研究方法論,類似于物理學(xué)中牛頓經(jīng)典力學(xué)(適合宏觀低速)與狹義相對論(適合微觀高速)的辯證關(guān)系,各自更適合不同的業(yè)務(wù)場景,在大數(shù)據(jù)空間下是可以互相借鑒和補充,并不是對立或者替代。
理解了這種關(guān)系后,我們進(jìn)一步從大數(shù)據(jù)產(chǎn)品的角度,來深入討論市場研究與大數(shù)據(jù)的關(guān)系。
大數(shù)據(jù)產(chǎn)品的模式
近兩年來,各種企業(yè)(尤以技術(shù)驅(qū)動企業(yè)為代表)推出的大數(shù)據(jù)產(chǎn)品/服務(wù)層出不窮。但如果從研究產(chǎn)品核心的三個要素(數(shù)據(jù)特性、分析方法論和產(chǎn)品類型)來看,無非以下幾種模式。
模式1:大數(shù)據(jù)+傳統(tǒng)研究方法。這類大數(shù)據(jù)產(chǎn)品,是當(dāng)前眾多大數(shù)據(jù)研究產(chǎn)品的重要形態(tài)。比如各種基于大數(shù)據(jù)的市場份額、移動app分析、電商交易分析和用戶分組等。實際上,這是一種“舊瓶加新酒”的模式,本質(zhì)只是把數(shù)據(jù)從小規(guī)模替換為更大規(guī)模的數(shù)據(jù)源,分析方法論(甚至包括思路/指標(biāo))仍是傳統(tǒng)研究所采用的那一套體系。這個也證明了之前的觀點:傳統(tǒng)研究方法論同樣適用于大數(shù)據(jù)分析(只要選擇合適的應(yīng)用場景)。在這種模式中,研究公司的劣勢是在數(shù)據(jù)源,并不在分析方法論上。
模式2:行為類大數(shù)據(jù)+行為大數(shù)據(jù)方法論。這種模式關(guān)注的是人/消費者(這也是市場研究的重要目標(biāo)),數(shù)據(jù)源是人的行為性(如瀏覽、交易、評論和位置等)歷史。這是純大數(shù)據(jù)的產(chǎn)品模式,相關(guān)的產(chǎn)品服務(wù)將會是近幾年大數(shù)據(jù)應(yīng)用的重點。其研究方法論與傳統(tǒng)模式不同,主要聚焦在如何進(jìn)行個體特征(如標(biāo)簽分析)+精準(zhǔn)定位+預(yù)測/推薦的思路。就當(dāng)前相關(guān)產(chǎn)品的深入分析來看,各家(無論傳統(tǒng)研究還是技術(shù)驅(qū)動企業(yè),甚至包括學(xué)術(shù)機構(gòu))相關(guān)的方法論和分析建模思路都還處于比較淺的階段,并未出現(xiàn)成熟而優(yōu)秀的方法體系。而消費者行為研究原本就是市場研究企業(yè)的傳統(tǒng)業(yè)務(wù),相對純技術(shù)驅(qū)動性企業(yè),研究公司在新方法論相關(guān)的深度研究建模上應(yīng)該具有更大的先發(fā)優(yōu)勢。
模式3:狀態(tài)類大數(shù)據(jù)+行業(yè)性大數(shù)據(jù)方法論。這也是當(dāng)前大數(shù)據(jù)業(yè)務(wù)的一種重要模式,實際業(yè)務(wù)距離市場研究當(dāng)前業(yè)務(wù)較遠(yuǎn),這里只是作為介紹,供大家開闊思路。數(shù)據(jù)來自分析目標(biāo)的狀態(tài)信息,分析方法更加多樣并與行業(yè)特性緊密相關(guān),分析目的集中于監(jiān)控、智能管理和優(yōu)化。所有的物聯(lián)網(wǎng)類(包括車聯(lián)網(wǎng))、智能家居服務(wù)以及可穿戴設(shè)備(記錄人的狀態(tài))行業(yè)的大數(shù)據(jù)應(yīng)用,大多是此類。其他更多應(yīng)用模式(如生物大數(shù)據(jù)的尋找分析),這里不再一一介紹了
大數(shù)據(jù)業(yè)務(wù)的問題
雖然大數(shù)據(jù)業(yè)務(wù)有著無限的未來空間,但從研究領(lǐng)域的角度看,有幾個基礎(chǔ)性問題仍然需要注意。
(1)數(shù)據(jù)分布的缺陷仍然存在
大數(shù)據(jù)仍然存在著傳統(tǒng)的數(shù)據(jù)分布缺陷,只是表現(xiàn)形式不同。雖然其極大了擴(kuò)展了數(shù)據(jù)的空間,但大數(shù)據(jù)仍然不是全數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)存在的抽樣性的缺陷是降低了,但并沒有完全解決。更重要的是,數(shù)據(jù)覆蓋的提升更多是在垂直維度,而水平化的缺陷仍然存在,并且難以彌補。當(dāng)前的大數(shù)據(jù)都只是數(shù)據(jù)在某個應(yīng)用場景的深度上不斷增加。以消費者的互聯(lián)網(wǎng)行為為例,特定場景的行為數(shù)據(jù)(百度的搜索數(shù)據(jù)、阿里的電商數(shù)據(jù)、騰訊的社交數(shù)據(jù))被極大化,但所有行為場景的橫向數(shù)據(jù)的融合,實際更有價值,由于商業(yè)利益等原因,卻更難以做到了。阿里系通過投資各類互聯(lián)網(wǎng)服務(wù)(高德、新浪微博、優(yōu)酷、陌陌、神馬…),在為打通消費者全場景行為大數(shù)據(jù)做布局,也實際無法解決這個問題。從這點講,未來垂直類場景的大數(shù)據(jù)的交換服務(wù)會成為一個新的巨大的空間。
(2)大數(shù)據(jù)的基礎(chǔ)方法論模型仍然存在不足
相比傳統(tǒng)研究的方法論,大數(shù)據(jù)主要優(yōu)勢是在個性化和預(yù)測方面,但相關(guān)的理論模型,還在迅速發(fā)展和變化,并未達(dá)到成熟期。而且大數(shù)據(jù)環(huán)境下,數(shù)據(jù)規(guī)模和數(shù)據(jù)有效期的不同,使得傳統(tǒng)研究中相對容易的模型驗證也變得困難許多。這導(dǎo)致了很多大數(shù)據(jù)預(yù)測出現(xiàn)問題。遠(yuǎn)的不說美國大選的兩周預(yù)測結(jié)果,就是近期百度電影《黃金時代》票房預(yù)測的失敗就是最好的例子。這說明相關(guān)分析模型還有很多的改進(jìn)空間,也意味著市場研究企業(yè)未來能夠在相關(guān)領(lǐng)域有更多的專業(yè)發(fā)揮空間。
(3)特定群體的研究仍然存在困難
研究業(yè)務(wù)中,大量任務(wù)是需要對特定群體的行為進(jìn)行研究。傳統(tǒng)研究中,當(dāng)目標(biāo)群體比較小或者特殊時,研究困難會比較大。在大數(shù)據(jù)下這些是否迎刃而解呢?根據(jù)HCR實際經(jīng)驗發(fā)現(xiàn)并不是這樣。首先,由于大數(shù)據(jù)分布的缺陷問題仍然存在,在大數(shù)據(jù)中尋找這個群體往往也很不容易。其次,對這個群體的行為記錄數(shù)據(jù),也未必更有效的能夠表征其特征。最后,如何基于這些數(shù)據(jù)量化描述群體,也缺乏令客戶信服的解釋理論。此時,傳統(tǒng)的方式(比如定性座談會),往往比大數(shù)據(jù)方法更快,效果也更好。
市場研究行業(yè)如何擁抱大數(shù)據(jù)
進(jìn)入大數(shù)據(jù)時代,市場研究企業(yè)面臨更多跨界型對手的競爭,表面上看好像毫無優(yōu)勢。實際上,就大數(shù)據(jù)應(yīng)用的核心競爭力—分析能力方面,從前面的分析可以知道,研究公司無論是傳統(tǒng)研究方法,還是大數(shù)據(jù)分析方法,都具有相應(yīng)能力或者潛在優(yōu)勢。關(guān)鍵是如何揚長避短,構(gòu)建自己的大數(shù)據(jù)競爭優(yōu)勢。以下是幾個建議:
(1)傳統(tǒng)企業(yè)的大數(shù)據(jù)研究是最重要的目標(biāo)戰(zhàn)場。
當(dāng)前的大數(shù)據(jù)產(chǎn)品更多基于線上/互聯(lián)網(wǎng)用戶產(chǎn)生的數(shù)據(jù)引發(fā)相關(guān)分析。實際上,研究公司所服務(wù)的大量傳統(tǒng)/線下企業(yè),其自身業(yè)務(wù)大數(shù)據(jù)(尤其業(yè)務(wù)環(huán)節(jié)積累產(chǎn)生的內(nèi)部大數(shù)據(jù))的分析和價值挖掘,對企業(yè)價值更大,是企業(yè)更為關(guān)注和迫切需要解決的。而大部分的企業(yè)受條件所限,不可能構(gòu)建大數(shù)據(jù)分析的專業(yè)資源和團(tuán)隊,需要專業(yè)的第三方服務(wù)型企業(yè)來完成。所以,面向企業(yè)內(nèi)外業(yè)務(wù)大數(shù)據(jù)的相關(guān)研究分析,將是研究公司未來大數(shù)據(jù)服務(wù)的重要領(lǐng)域。
(2)堅持研究的深度。
針對市面上各種純技術(shù)驅(qū)動競爭對手的大數(shù)據(jù)研究產(chǎn)品,如果仔細(xì)分析后會發(fā)現(xiàn),這些產(chǎn)品往往受企業(yè)基因的影響,其研究的深度和角度都不能令人滿意,傳統(tǒng)企業(yè)研究的客戶常會反饋其業(yè)務(wù)價值并不大。而研究洞察的深度和專業(yè)性,是企業(yè)客戶對研究服務(wù)首要關(guān)注的能力,這是當(dāng)前技術(shù)驅(qū)動類企業(yè)的不足,卻正是市場研究公司所擅長的重要競爭優(yōu)勢。
(3)聚焦消費者研究
大數(shù)據(jù)應(yīng)用領(lǐng)域眾多,基于消費者行為類大數(shù)據(jù)的研究,是市場研究公司具有背景優(yōu)勢且能夠在未來產(chǎn)生巨大價值的主要領(lǐng)域(不限于快消行業(yè))。市場研究公司應(yīng)該積極學(xué)習(xí)掌握現(xiàn)有的大數(shù)據(jù)研究的思想,并從消費者研究角度提出更好的分析方法論模型,樹立相對于競爭對手的分析優(yōu)勢。同時,由于人性的復(fù)雜和大數(shù)據(jù)的分布覆蓋仍存在缺陷,研究公司擅長的一些傳統(tǒng)研究方法(如調(diào)研和定性座談會),仍是一種快速、有效的方式。
(4)注意數(shù)據(jù)源的構(gòu)建
數(shù)據(jù)是研究分析的基礎(chǔ)和首要環(huán)節(jié)。在大數(shù)據(jù)環(huán)境下,數(shù)據(jù)源的重要性迅速提升成為業(yè)務(wù)鏈條中基礎(chǔ)一環(huán)。從產(chǎn)品模式1可以發(fā)現(xiàn),當(dāng)前市場研究公司由于數(shù)據(jù)源相關(guān)資源的缺乏,導(dǎo)致產(chǎn)品方面受到很大限制。如何構(gòu)建數(shù)據(jù)源資源,是研究公司需要考慮的重要問題。
(5)建立適合大數(shù)據(jù)業(yè)務(wù)的業(yè)務(wù)流程和支持體系
大數(shù)據(jù)環(huán)境下,在實際業(yè)務(wù)處理流程和操作過程中,具體實現(xiàn)方法和模式與傳統(tǒng)方式有了較大的變化。如果不能夠積極改變和適應(yīng)這些變化,將無法有效完成大數(shù)據(jù)的相關(guān)產(chǎn)品業(yè)務(wù)。有關(guān)市場研究在大數(shù)據(jù)下業(yè)務(wù)流程變化的相關(guān)分析,后續(xù)將另外撰文進(jìn)行說明。
(6)重視和加強大數(shù)據(jù)相關(guān)的技術(shù)能力
如今,研究公司普遍認(rèn)識到大數(shù)據(jù)處理技術(shù)體系(技術(shù)人員與平臺)的缺乏,是其與跨界競爭對手的最大短板,需要后續(xù)亟待加強。但同時要注意到另一個問題:很多研究公司中IT人員(如DP)常被定位為研究業(yè)務(wù)的輔助支持。但在大數(shù)據(jù)時代,技術(shù)人員將與研究人員具有同樣的重要性(甚至有些環(huán)節(jié)要超過),如果還是之前的定位和配合方式,那難以有效發(fā)揮他們在大數(shù)據(jù)研究業(yè)務(wù)中的作用。
面對新的大數(shù)據(jù)星際,市場研究公司并非只能躑躅不前,數(shù)據(jù)價值法則說明大數(shù)據(jù)價值所需的分析深度正是其最大的優(yōu)勢。只要在傳統(tǒng)的研究模式上,積極學(xué)習(xí)和拓展新的大數(shù)據(jù)方法論,以專業(yè)研究優(yōu)勢結(jié)合技術(shù)能力作為自身的動力,一樣能自如穿越廣闊的大數(shù)據(jù)星際,發(fā)現(xiàn)更多的迷人寶藏。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03