DT時(shí)代，如何進(jìn)行大規(guī)模信息分析

有時(shí)候，在進(jìn)行案頭分析的時(shí)候，你會(huì)獲得很多的數(shù)據(jù)，來(lái)自于各個(gè)論壇，博客，朋友圈，這些數(shù)據(jù)并沒(méi)有經(jīng)過(guò)系統(tǒng)的整理，只是簡(jiǎn)單地放在了一起，在論壇中，很多能夠反映用戶痛點(diǎn)的內(nèi)容分散地存在于吐槽的帖子中，其中有些問(wèn)題被一再地重復(fù)，沒(méi)有經(jīng)過(guò)整理。

這時(shí)候問(wèn)題并不是在于缺乏信息，而是在于信息太多了。你知道有用的信息就在這里面，但是你卻沒(méi)有辦法從中把有用的信息提取出來(lái)。

在案頭研究階段，大規(guī)模的信息分析有時(shí)候是一個(gè)有利的武器，因?yàn)楫?dāng)信息過(guò)多的時(shí)候，如果不通過(guò)計(jì)算機(jī)處理，那每個(gè)人只能看到信息中的一部分內(nèi)容，沒(méi)辦法把所有的信息都匯總在一起，呈現(xiàn)出信息的全局。 大規(guī)模信息分析能夠幫助需求研究者轉(zhuǎn)變視野，實(shí)現(xiàn)對(duì)案頭研究資料的鳥(niǎo)瞰，從更高的角度去理解案頭資料。我有一個(gè)師弟，當(dāng)年的畢業(yè)論文是研究國(guó)家政策對(duì)創(chuàng)新的態(tài)度，他的其中一個(gè)研究方法就是搜集了歷年國(guó)家政策文件，統(tǒng)計(jì)每一年文件中“創(chuàng)新”兩個(gè)字的出現(xiàn)次數(shù)，并通過(guò) 圖表表現(xiàn)出這種頻次變化，從而展現(xiàn)出了一種新的觀察問(wèn)題的維度。

你可能會(huì)覺(jué)得，大規(guī)模信息分析需要采用大數(shù)據(jù)分析技術(shù)。如果你有一個(gè)強(qiáng)大的技術(shù)合作團(tuán)隊(duì)，的確可以使用一些大數(shù)據(jù)分析技術(shù)，但是在絕大多數(shù)情況下，需求洞察其實(shí)并不需要特別強(qiáng)大的技術(shù)能力。

如果一點(diǎn)技術(shù)能力也沒(méi)有，的確很難處理這些信息，但對(duì)計(jì)算機(jī)來(lái)說(shuō)，這點(diǎn)信息并不算什么，對(duì)人腦來(lái)說(shuō)，除非你有一些簡(jiǎn)化法則，否則這些信息足以讓你頭昏腦漲。為了處理這些信息，你可能需要學(xué)一些簡(jiǎn)單的腳本語(yǔ)言，掌握一些基本的分析方法。

學(xué)習(xí)腳本語(yǔ)言，例如 Python，主要目的是為了能夠幫助編寫(xiě)一些爬蟲(chóng)程序，通過(guò)網(wǎng)絡(luò)定向爬取一些信息，然后運(yùn)用這些信息進(jìn)行進(jìn)一步的深入分析。你不需要有特別高深的理論和實(shí)踐水平，只要你知道一些基本的方法，網(wǎng)上其實(shí)有大量的教程和源代碼示例，你只需要拿來(lái)稍作修改，基本上就能滿足需求。

關(guān)于分析方法，如果你或者你的公司專門(mén)是從事為企業(yè)提供基于數(shù)據(jù)分析的服務(wù)，為了提高數(shù)據(jù)分析的價(jià)值，你可能需要用到很高深的人工智能、機(jī)器學(xué)習(xí)等等，可能需要掌握復(fù)雜的數(shù)學(xué)知識(shí)，但在研究用戶的痛點(diǎn)過(guò)程中，則沒(méi)有這么苛刻，不需要你具備編制出類似于 Google 開(kāi)發(fā)的阿爾法狗這種能夠與世界冠軍下圍棋的分析程序。數(shù)學(xué)基礎(chǔ)好的確對(duì)分析很有幫助，但是并不是絕對(duì)的。事實(shí)上在作者實(shí)際工作中，分析方法主要還是使用中學(xué)數(shù)學(xué)所講授的那些內(nèi)容為主，比如多維交叉分析、漏斗分析或者留存率分析，這些分析方法中學(xué)生就能理解。分析中有時(shí)候也會(huì)用一些大學(xué)時(shí)學(xué)的數(shù)學(xué)，不過(guò)用得比較少，基本上是一些數(shù)理統(tǒng)計(jì)方面的內(nèi)容。

大規(guī)模數(shù)據(jù)分析的難點(diǎn)并不在于技術(shù)的實(shí)現(xiàn)，無(wú)論 IT技術(shù)還是分析技術(shù)，這種分析方法的難點(diǎn)在于方案的構(gòu)思：

首先，你需要建立一個(gè)信息分析的框架模型，根據(jù)模型幫助你洞察 用戶需求。

其次，你需要知道為了能夠運(yùn)行這個(gè)信息分析模型，你需要找到哪些數(shù)據(jù)。

第三，你需要知道如何找到這些數(shù)據(jù)，并能夠按照要求整理好這些數(shù)據(jù)。

我曾經(jīng)做過(guò)一個(gè)項(xiàng)目是評(píng)價(jià)各個(gè)App的市場(chǎng)需求，其核心就是想知道在某段時(shí)間內(nèi)用戶對(duì)哪些 App 比較喜歡，哪些App會(huì)有爆發(fā)式需求的可能。

大家都會(huì)考慮采用應(yīng)用市場(chǎng)的下載排名來(lái)進(jìn)行分析，不過(guò)由于各個(gè)應(yīng)用市場(chǎng)都有推廣及刷榜的影響，可信度都會(huì)打折扣。所以，我設(shè)計(jì)了一套簡(jiǎn)單的模型，對(duì)各大應(yīng)用市場(chǎng)的數(shù)據(jù)進(jìn)行加權(quán)處理，降低刷榜的影響——萬(wàn)一有哪個(gè) App 在所有應(yīng)用市場(chǎng)都刷榜呢，不過(guò)首先我覺(jué)得一般的 App 沒(méi)有這么大的手筆，另外如果這個(gè) App 真的這么刷榜，的確說(shuō)明這個(gè) App 可能有爆發(fā)的潛質(zhì)，用錢堆出來(lái)的爆發(fā)的潛質(zhì)。

除了應(yīng)用市場(chǎng)的數(shù)據(jù)加權(quán)，我還把 App 的名稱作為關(guān)鍵詞，引入到 友盟、微博指數(shù)、百度指數(shù)進(jìn)行分析，體現(xiàn) App 在媒體公關(guān)等軟推廣上的營(yíng)銷推廣價(jià)值。

最后，為了獲得以上數(shù)據(jù)，我請(qǐng)了一個(gè)朋友。他花了一天時(shí)間幫我開(kāi)發(fā)了一個(gè)爬蟲(chóng)程序，每周都能夠從各大平臺(tái)按照要求把我所需要的數(shù)據(jù)從平臺(tái)上爬取下來(lái)，并進(jìn)行整理。這種自動(dòng)化的方案讓整個(gè)項(xiàng)目的工作量成倍減少，從而使我有更多的精力聚焦在分析上，而不是聚焦在數(shù)據(jù)搜集和整理上。