大數(shù)據(jù)時代下，市場研究何去何從

大數(shù)據(jù)這個概念近來一直受到關注。大數(shù)據(jù)并非一個確切的概念，這個概念一方面指數(shù)據(jù)體量巨大，超出一般電腦所處理數(shù)據(jù)量幾個級別；另一方面也指處理的數(shù)據(jù)類型多樣化，遠遠超出傳統(tǒng)數(shù)據(jù)格式和分析工具能處理的范疇。也有觀點指大數(shù)據(jù)是指不用抽樣方法得到的數(shù)據(jù)。在這篇文章中，我從社會學科研究方式發(fā)展的角度來闡述大數(shù)據(jù)的影響，以及大數(shù)據(jù)和市場研究的相互關系。

第一次數(shù)據(jù)化的影響 – 定性研究和定量研究

市場研究是一門應用社會學的學科，一個基本的分類就是定性研究和定量研究。簡單地說，定量研究一定有數(shù)字分析，定性研究沒有數(shù)字分析。大多數(shù)研究人員也各自站隊為定量研究人員和定性研究人員。我們先來討論一下這樣劃分的本質是什么。

在幾乎所有社會科學的學科中，最一開始的數(shù)據(jù)都是非數(shù)字的。比如，我們?nèi)プ鰡柧碚{查詢問被訪者，你家有汽車嗎？如果有，我們打一個勾。在把這些答案轉化為數(shù)據(jù)之后，我們可以計算有多少比例的被訪者有汽車等等。這個把非數(shù)字的信息數(shù)字化的過程，我們稱之為數(shù)據(jù)化。這個過程在本質上同把聲音數(shù)字化和圖像數(shù)字化的過程并沒有區(qū)別。

因此，數(shù)據(jù)的本質都是定性的。研究人員可以選擇直接處理定性數(shù)據(jù)，也可以選擇多走一步數(shù)據(jù)化后處理定量數(shù)據(jù)。沒有哪一種方法在本質上更好。事實上，兩種方式都產(chǎn)生了偉大的研究。（由于篇幅限制，這里不舉例說明了。）

但在現(xiàn)實中不容否認的是，定量研究似乎享受更高的社會地位。在西方各個社會學科定量研究發(fā)展的初期，定量研究常常和具備高級數(shù)量分析技巧的和相應工作語言的年輕博士掛鉤，定量研究被認為是未來，校園里許多年老的教授和研究者困惑不已并感受到壓力。許多大學都大力投資來支持定量研究，Departments of Government 被改名為Departments of Political Sciences, Departments of Speech 被改名為Departments of Communication, 即便名字沒改，研究的內(nèi)容已經(jīng)發(fā)生變化了，社會學科轉向定量研究的風潮可見一斑。那個時候年輕學者對數(shù)據(jù)的興趣和癡迷不低于今日。歸其原因，一方面由于測量理論的發(fā)展，許多研究主體數(shù)據(jù)化，定量研究從科學發(fā)展的浪潮中受益了；另一方面電腦的發(fā)展也促成了這個變化。

當電腦開始在美國大學變得不那么神秘的60年代初期，它們是不適合社會科學研究的，電腦的應用是圍繞著物理科學來進行的。物理科學通常要求在很小的數(shù)據(jù)量上進行非常復雜的運算，而社會科學通常的數(shù)據(jù)量很“大”。那個時候物理科學可以拿到很多的資助，所以大部分軟件和程序都是圍繞物理科學開發(fā)的。直到60年代末期才出現(xiàn)比較強大的為社會科學研究而設計的分析軟件。

70年代末的個人計算機的出現(xiàn)讓社會科學定量研究看到了普及的希望。微型化的、能支付的起的電腦已經(jīng)足夠強大，可以做很多常規(guī)分析，但是它們不能處理“大”數(shù)據(jù)。碰到大的數(shù)據(jù)樣本，只能手動的去計算，直到八十年代的微型電腦內(nèi)存技術有了革命性的變化。新型電腦不僅能進行大樣本的簡單處理和分析，而且能進行復雜的運算，比如因子分析，最小空間分析等等。一個定量研究者和一臺微型電腦所做的分析，就能輕易超過以前一個團隊和一個機房才能做的分析。

于是，微型電腦給定量研究帶來了我們所能看見的明顯優(yōu)勢。然而，微型電腦給定性研究也帶來了同樣的優(yōu)勢，只是我們不太注意罷了。比如，以前我們做定性研究訪問的時候，一般就是記筆記。現(xiàn)在我可以帶著我的個人電腦現(xiàn)場記錄，也可以輕松地剪輯錄像仔細解讀。當我們寫定性報告的時候，現(xiàn)在可以很輕松的檢索信息，旁引博證，插入圖片等，還可以輕松的把文字和其它信息挪動?；ヂ?lián)網(wǎng)也使得遠程圖書館發(fā)展起來，對定性研究的幫助也是一日千里。

你或許覺得電腦在定性研究上的應用比起定量研究來太蒼白了，但是我們仔細想一想，電腦對定量研究的貢獻不也是讓研究者輕松地去做過去能做但很費時費力的分析工作嗎？

雖然性質相同，但定性研究和定量研究其實有自己不同的優(yōu)勢和劣勢，他們完美的互補。一個好的研究人員應該對定性和定量都不陌生，當碰到實際問題的時候，應該能同時考慮定性和定量的選擇。定性和定量都需要特殊的訓練，現(xiàn)實中一個人精力和時間是有限的，我們也總想擅長點什么，所以偏向定性或定量就順理成章了。但我們必須警惕專業(yè)化中潛伏的危險：定量人員會經(jīng)常把統(tǒng)計分析的表面結果當成一切，定性人員也會經(jīng)常把觀點當成觀察，把感覺當成發(fā)現(xiàn)。

時間已經(jīng)證明，定性方法并沒有被淹沒在數(shù)據(jù)化的浪潮中。相反，定性方法和定量方法在生活中處處體現(xiàn)，他們或者平行或者交叉，不可分離。我們可以用數(shù)字形容汽車的速度，但不能用數(shù)字描述一個孩子的可愛。另一方面，我們知道一個人的捐贈大小是不足以測量一個人善心的，但是他們之間也不是沒有關系；我們知道有高度不代表你能打籃球中鋒，但沒有高度你是萬萬不行的。定性和定量，你中有我，我中有你。

如果我們把六、七十年代數(shù)據(jù)化帶給社會學科研究方法的變化 ? 定量研究和定性研究的分野和發(fā)展，看作是第一次數(shù)據(jù)化浪潮沖擊的話，那么大數(shù)據(jù)將會給社會科學研究方式帶來第二次沖擊。

大數(shù)據(jù)及其分析

如今大數(shù)據(jù)帶給我們社會科學研究者的兩難境地就如同以前數(shù)據(jù)化帶給定性研究者的兩難境地一樣。一方面，稍微一點想象，所有事物都可能轉化為數(shù)據(jù)形式，并且給我們帶來沖擊。把世間萬物轉化為數(shù)據(jù)的需求來源于人類測量、記錄和分析世界的渴望（舍恩伯格和庫克耶 2013）。另一方面，我們面對大數(shù)據(jù)，卻缺少分析大數(shù)據(jù)的思路、方法、甚至工具。所以不奇怪的是現(xiàn)在的很多社會學科研究者采取抽樣的方式來分析大數(shù)據(jù)。

過去定量研究的一個關鍵支柱是抽樣理論。過去由于獲得數(shù)據(jù)的昂貴，我們傾向于用最少的數(shù)據(jù)量獲得最多的信息，抽樣省時省力省錢；而且由于技術分析手段的局限性，我們也只能處理分析“小數(shù)據(jù)”。那如何保證抽樣的結果能比較客觀的代表總體呢？依據(jù)所研究的問題，滿足隨機抽樣（經(jīng)典抽樣）或最優(yōu)抽樣的標準，就能最大限度的保證精確性。抽樣理論實際上獲得了巨大成功，成為現(xiàn)代社會、現(xiàn)代測量領域的支柱。

抽樣數(shù)據(jù)相比全體數(shù)據(jù)是在不可收集和分析全部數(shù)據(jù)的情況下的選擇。在數(shù)據(jù)成本越來越低的時代，促使我們來使用樣本數(shù)據(jù)的經(jīng)濟原因已經(jīng)被撼動。另外，樣本數(shù)據(jù)的成功取決于抽樣的隨機性，但在抽樣的實際工作中保證隨機性是非常困難的。我們市場研究的同事都知道，當前無論采用什么方法做抽樣，比如電話，入戶，街頭攔截等等，有一系列的操作上的障礙使你無法保證樣本的隨機性。祝建華教授在一次討論中提到，如果抽樣的對象很復雜，比如“網(wǎng)絡”，那么根本找不到一個最優(yōu)抽樣的判斷標準，更不可能奢求以抽樣求得的小網(wǎng)絡能反映大網(wǎng)絡的情況。

另一個我們不主張使用樣本數(shù)據(jù)來研究大數(shù)據(jù)的理由是，樣本數(shù)據(jù)會給我們的分析方法帶來困惑和障礙。舉個例子，我們做回歸分析的時候，變量之間的多元共線性是一個嚴重干擾我們估計Beta的因素。但是當樣本擴大到非常大的時候，這個影響趨于零。這一點無論是通過模擬數(shù)據(jù)還是真實數(shù)據(jù)都得到了驗證。我們有文章在AMA的會議上發(fā)表。

樣本數(shù)據(jù)一旦收集完成，它的應用就相應的缺乏延展性。比如，我們難以或者不可以重新分析這些數(shù)據(jù)以驗證計劃之外的想法；當我們的分析單位越來越小的時候，樣本數(shù)據(jù)的錯誤率變得越來越高，因為落到一個分析單位上的樣本量越來越小；樣本數(shù)據(jù)常常不能幫助我們完成對異常或小概率事件的分析，而發(fā)現(xiàn)和預測這些小概率事件常常是數(shù)據(jù)分析的一個重要目的。

那么，大數(shù)據(jù)研究的目的是什么呢？ 通常在社會科學領域中，我們的研究目的是發(fā)現(xiàn)和驗證事物之間的因果關系，然而發(fā)現(xiàn)和分析因果關系是非常困難的一項任務。例如一個14歲的初中學生跳樓了，是什么原因導致他這種行為呢？媒體對其他青少年相似行為的報導？社會大環(huán)境所致？學校功課的壓力？家庭不和睦？個人心理狀態(tài)？和同學吵架之后的過激念頭導致？……我們可以列出上百種可能的因素，因為社會現(xiàn)象之復雜，各種事物之間確實有存在著千絲萬縷的聯(lián)系。我們當然很容易說這些因素都有可能是原因，也可以簡而化之說學校壓力是主因，但這些表述對我們沒有任何價值。

因果關系的成立是有一系列嚴格條件的。在各社會學科研究中，我們通常從建立假設開始，然后進行實驗設計和抽樣，通過對比檢驗，這個假設或者成立或者被推翻。所建立的假設通常來源于定性研究、理論、其它研究或者靈感。即便假設成立，因為抽樣的原因和其它因素，也要明確其適用范圍，整個過程費時費力。美國著名社會學家厄爾?芭比博士曾經(jīng)指出，社會科學研究結果的最佳表述方式是概率，是相關關系，而非因果關系。這一點與舍恩伯格在《大數(shù)據(jù)時代》中提倡的“轉向相關關系”分析有異曲同工之妙。

舍恩伯格提倡在大數(shù)據(jù)的分析中，人們應該從對于因果關系的追求中解脫出來，轉而將注意力放在相關關系的發(fā)現(xiàn)和使用上來。只要發(fā)現(xiàn)了事物之間的相關關系，那么就已經(jīng)能產(chǎn)生巨大的經(jīng)濟和社會效益。他通過實際的案例說明，大數(shù)據(jù)和相關分析的結合已經(jīng)產(chǎn)生了許多巨大的發(fā)現(xiàn)，并且由于數(shù)據(jù)大，能夠令我們更有機會發(fā)現(xiàn)有價值的局部相關關系。

在小樣本時代，數(shù)據(jù)稀缺，所以我們首先追求數(shù)據(jù)精確，其次追求結果精確。但大數(shù)據(jù)時代，數(shù)據(jù)之雜，不可能精確，追求數(shù)據(jù)的精確就會導致我們寸步難行，數(shù)據(jù)不精確會成為一個常態(tài)，也是世界的本質。數(shù)據(jù)不精確，結果也很難“精確”。但機器學習理論和實踐都證明，允許數(shù)據(jù)的混雜和不精確，我們分析所得出的結論才更有延展性和外部適用性。

因為大數(shù)據(jù)中很大比例是文本數(shù)據(jù)，分析的很大障礙是機器的語義分析能力。只有具備了一定的語義分析能力，機器分析才有價值，文本形式的大數(shù)據(jù)才能得到有效分析。目前的大多數(shù)語義分析能力都是采用有監(jiān)督的機器學習。機器學習包括訓練集的質量，訓練集規(guī)模和機器學習算法，訓練集的質量是可以采用人工標注的方式來提高。此外，對市場研究而言，品類知識也是需要機器事先儲備的。

可以想象，未來云計算和云儲存的普及，大數(shù)據(jù)分析方法的發(fā)展以及針對大數(shù)據(jù)的智能軟件的開發(fā)，將會為個人處理分析大數(shù)據(jù)提供必要的物質條件，就如同七、八十年代微型計算機、內(nèi)存和相應軟件的開發(fā)會為定量研究帶來的變化一樣。

大數(shù)據(jù)時代傳統(tǒng)市場研究的價值

大數(shù)據(jù)帶來的數(shù)據(jù)化浪潮已經(jīng)觸動市場研究的每一個人。Joan Lewis，寶潔全球客戶和市場知識官, 2011年ARF的演講中呼吁要讓社會化媒體的大數(shù)據(jù)應用于市場研究。她講到了以下幾點：

數(shù)據(jù)的豐富性和自主性      社會化媒體數(shù)據(jù)包含了消費者的購買習慣，用戶需求，品牌偏好等，且都是消費者自愿表述的對產(chǎn)品滿意度和質量問題的想法，充滿了情感因素，我們無需費盡心思的引導消費者參與調查問卷

減少研究的“未知”視角　市場問卷調查有其固有的局限性，那就是你必須明確你的問題是什么。問卷設計者本身有未知的方面，所以在設計問題時會忽略自己的“未知”，但這些“未知”很有可能就是消費者所需要的方面

數(shù)據(jù)的實時化的特征　不同于以往的發(fā)放回收市場調研報告再解決消費者問題，如今可以使營銷人員快速發(fā)起營銷活動，第一時間測試營銷新方法，同時可以第一時間確認理解和追蹤消費者的反饋

數(shù)據(jù)的低投入特征     傳統(tǒng)的市場調研方式費工費時，結合社會化媒體的市場調研則是低投入高回報的產(chǎn)業(yè)。使用正確的調研產(chǎn)品和方法便可以對消費者群體的用戶習慣和反饋進行透徹分析。運用社會化媒體監(jiān)測軟件幫助企業(yè)在線傾聽消費者意見，評估獲取其見解。

市場研究的使命是揭示消費者視角，為企業(yè)提供有價值的洞察和支持企業(yè)做出有意義的決策。從這個意義上來說，每一個市場研究人員都應該為社會化媒體平臺和數(shù)據(jù)歡呼，因為它彌補了問卷數(shù)據(jù)一些方面的不足。（你是不是經(jīng)常會發(fā)現(xiàn)，當我們從事另一個領域的工作時，才會意識到原來工作方法的不足和優(yōu)點。）另一方面，針對社會化媒體數(shù)據(jù)分析的新興公司確實對傳統(tǒng)的市場研究公司形成競爭和挑戰(zhàn)。

競爭的最大壓力是傳統(tǒng)的市場研究還沒有適應社會化媒體大數(shù)據(jù)時代的研究體系。正如Joe Tripodi (可口可樂營銷副總裁)在《哈佛商業(yè)評論》（2011年4月）上指出的，“在印象時代，通過問卷詢問方式獲取的知名度，使用率，認知度等衡量品牌健康的指標體系，在消費者表達的時代就未必適用。因此，從品牌建設效果衡量的角度，也需要一套適應消費者表達時代的指標體系?！蓖瑫r，盡管對大數(shù)據(jù)的整合與分析才剛剛起步，但已經(jīng)有了一系列令人耳目一新的發(fā)現(xiàn)和應用。無數(shù)的案例和論著都指出，大數(shù)據(jù)的整合和分析，其前景和應用不可限量。

傳統(tǒng)的市場研究的價值在哪里？或者說，其應該堅守什么才更有價值？

堅持深度    堅持基于人類本性的研究框架（陳富國，MetaThink的CEO，2012在CMRA會議上的演講）。人的行為和態(tài)度歸根結底是人的本性來決定的，堅持對人類本性的研究才能更好的幫助我們深度理解人類行為模式，以及動察人類行為的變遷。加強對生活本質、生活價值和生命認知的理解，加強對于“意義、“需要”、“體驗”和“情感”等等人類內(nèi)部語言和圖式的挖掘。機器不但缺乏“體驗”和“情感”，而且缺乏對“意義”和“需要”的理解。由于人類本身具有的抽象思維和語言文本分析能力，正能達到我們在此一領域所需要的深度。

堅持廣度 堅持人與自然，人與社會的研究廣度。人類的行為模式是在與自然環(huán)境和社會環(huán)境的互動中演進的，演進的過程復雜而又有趣。加強對于“個人與群體”，“群體與群體”等等社會群體內(nèi)部形式和意義的挖掘?；ヂ?lián)網(wǎng)已經(jīng)深刻地改變了人類的群體構成方式（Hayes 2010），而對其意義的思考和挖掘才剛剛起步。

堅持實驗設計  實驗設計的本質是“控制”。在半人工的環(huán)境里我們控制一些因素來測試這些因素的影響和結果，這種研究常被用來探究營銷和產(chǎn)品元素的影響。這種方法直接，且非常有效果。例如基于實驗設計的聯(lián)合分析，具有堅實的科學依據(jù)，它主要以實驗設計科學和數(shù)學心理學為基礎。到目前為止，聯(lián)合分析已經(jīng)發(fā)展成為一種含有多種方法的體系，并改變了許多企業(yè)的新產(chǎn)品開發(fā)過程和市場戰(zhàn)略。許多出色的產(chǎn)品，比如麥斯威爾咖啡，拍寶面醬，Courtyard酒店等等，都是聯(lián)合分析的產(chǎn)出。除此之外，聯(lián)合分析方法在統(tǒng)計學上的嚴謹性和靈活性也受到其它領域從業(yè)人員和學者的關注，并被大量應用于交通研究、政府政策、醫(yī)學、經(jīng)濟學以及政治科學等領域。

堅持模型化  模型，簡單的說，就是一種事物之間聯(lián)系和運作的方式。開發(fā)模型（探索事物之間的聯(lián)系和運作方式）是一個非常艱苦的過程，但一旦模型成立，卻能極大的簡化人們的思維和決策過程。營銷人員在繁雜的運作中，需要找到營銷元素之間的關聯(lián)，市場研究要堅持能立足于這一點。

堅持發(fā)展測量工具 市場研究本質就是測量，但測量需要測量工具和方法。營銷在目前有許多相對抽象的概念，沒有對這些概念以及概念之間關系的測量，就沒有營銷大的發(fā)展，比如品牌資產(chǎn)，購買意向等等。

堅持這些原則和方法并不排斥社會化媒體和大數(shù)據(jù)。恰恰相反，社會化媒體為我們提供了觀察和理解消費者互聯(lián)網(wǎng)生活的平臺，畢竟互聯(lián)網(wǎng)已經(jīng)成為年輕消費者生活的一個重要組成部分。大數(shù)據(jù)的分析可能會把許多以前看似不相關的變量聯(lián)系起來，這種聯(lián)系會為我們更好的洞察消費者提供線索和引領，也會為我們開發(fā)數(shù)理模型提供更多的變量和思路。

結束語

回顧歷史，我們意識到第一次數(shù)據(jù)化（“大”數(shù)據(jù)）浪潮帶給社會科學研究方式的影響和變化；思考現(xiàn)在，我們充分理解大數(shù)據(jù)（第二次數(shù)據(jù)化）浪潮帶給我們社會科學研究者的困惑、迷茫和不解，伴隨著震撼、驚喜和歡呼；展望未來，我們深信市場研究正處在量變通往質變的道路上。