DT時代，如何進(jìn)行大規(guī)模信息分析

有時候，在進(jìn)行案頭分析的時候，你會獲得很多的數(shù)據(jù)，來自于各個論壇，博客，朋友圈，這些數(shù)據(jù)并沒有經(jīng)過系統(tǒng)的整理，只是簡單地放在了一起，在論壇中，很多能夠反映用戶痛點的內(nèi)容分散地存在于吐槽的帖子中，其中有些問題被一再地重復(fù)，沒有經(jīng)過整理。

這時候問題并不是在于缺乏信息，而是在于信息太多了。你知道有用的信息就在這里面，但是你卻沒有辦法從中把有用的信息提取出來。

在案頭研究階段，大規(guī)模的信息分析有時候是一個有利的武器，因為當(dāng)信息過多的時候，如果不通過計算機處理，那每個人只能看到信息中的一部分內(nèi)容，沒辦法把所有的信息都匯總在一起，呈現(xiàn)出信息的全局。 大規(guī)模信息分析能夠幫助需求研究者轉(zhuǎn)變視野，實現(xiàn)對案頭研究資料的鳥瞰，從更高的角度去理解案頭資料。我有一個師弟，當(dāng)年的畢業(yè)論文是研究國家政策對創(chuàng)新的態(tài)度，他的其中一個研究方法就是搜集了歷年國家政策文件，統(tǒng)計每一年文件中“創(chuàng)新”兩個字的出現(xiàn)次數(shù)，并通過 圖表表現(xiàn)出這種頻次變化，從而展現(xiàn)出了一種新的觀察問題的維度。

你可能會覺得，大規(guī)模信息分析需要采用大數(shù)據(jù)分析技術(shù)。如果你有一個強大的技術(shù)合作團隊，的確可以使用一些大數(shù)據(jù)分析技術(shù)，但是在絕大多數(shù)情況下，需求洞察其實并不需要特別強大的技術(shù)能力。

如果一點技術(shù)能力也沒有，的確很難處理這些信息，但對計算機來說，這點信息并不算什么，對人腦來說，除非你有一些簡化法則，否則這些信息足以讓你頭昏腦漲。為了處理這些信息，你可能需要學(xué)一些簡單的腳本語言，掌握一些基本的分析方法。

學(xué)習(xí)腳本語言，例如 Python，主要目的是為了能夠幫助編寫一些爬蟲程序，通過網(wǎng)絡(luò)定向爬取一些信息，然后運用這些信息進(jìn)行進(jìn)一步的深入分析。你不需要有特別高深的理論和實踐水平，只要你知道一些基本的方法，網(wǎng)上其實有大量的教程和源代碼示例，你只需要拿來稍作修改，基本上就能滿足需求。

關(guān)于分析方法，如果你或者你的公司專門是從事為企業(yè)提供基于數(shù)據(jù)分析的服務(wù)，為了提高數(shù)據(jù)分析的價值，你可能需要用到很高深的人工智能、機器學(xué)習(xí)等等，可能需要掌握復(fù)雜的數(shù)學(xué)知識，但在研究用戶的痛點過程中，則沒有這么苛刻，不需要你具備編制出類似于 Google 開發(fā)的阿爾法狗這種能夠與世界冠軍下圍棋的分析程序。數(shù)學(xué)基礎(chǔ)好的確對分析很有幫助，但是并不是絕對的。事實上在作者實際工作中，分析方法主要還是使用中學(xué)數(shù)學(xué)所講授的那些內(nèi)容為主，比如多維交叉分析、漏斗分析或者留存率分析，這些分析方法中學(xué)生就能理解。分析中有時候也會用一些大學(xué)時學(xué)的數(shù)學(xué)，不過用得比較少，基本上是一些數(shù)理統(tǒng)計方面的內(nèi)容。

大規(guī)模數(shù)據(jù)分析的難點并不在于技術(shù)的實現(xiàn)，無論 IT技術(shù)還是分析技術(shù)，這種分析方法的難點在于方案的構(gòu)思：

首先，你需要建立一個信息分析的框架模型，根據(jù)模型幫助你洞察 用戶需求。

其次，你需要知道為了能夠運行這個信息分析模型，你需要找到哪些數(shù)據(jù)。

第三，你需要知道如何找到這些數(shù)據(jù)，并能夠按照要求整理好這些數(shù)據(jù)。

我曾經(jīng)做過一個項目是評價各個App的市場需求，其核心就是想知道在某段時間內(nèi)用戶對哪些 App 比較喜歡，哪些App會有爆發(fā)式需求的可能。

大家都會考慮采用應(yīng)用市場的下載排名來進(jìn)行分析，不過由于各個應(yīng)用市場都有推廣及刷榜的影響，可信度都會打折扣。所以，我設(shè)計了一套簡單的模型，對各大應(yīng)用市場的數(shù)據(jù)進(jìn)行加權(quán)處理，降低刷榜的影響——萬一有哪個 App 在所有應(yīng)用市場都刷榜呢，不過首先我覺得一般的 App 沒有這么大的手筆，另外如果這個 App 真的這么刷榜，的確說明這個 App 可能有爆發(fā)的潛質(zhì)，用錢堆出來的爆發(fā)的潛質(zhì)。

除了應(yīng)用市場的數(shù)據(jù)加權(quán)，我還把 App 的名稱作為關(guān)鍵詞，引入到 友盟、微博指數(shù)、百度指數(shù)進(jìn)行分析，體現(xiàn) App 在媒體公關(guān)等軟推廣上的營銷推廣價值。

最后，為了獲得以上數(shù)據(jù)，我請了一個朋友。他花了一天時間幫我開發(fā)了一個爬蟲程序，每周都能夠從各大平臺按照要求把我所需要的數(shù)據(jù)從平臺上爬取下來，并進(jìn)行整理。這種自動化的方案讓整個項目的工作量成倍減少，從而使我有更多的精力聚焦在分析上，而不是聚焦在數(shù)據(jù)搜集和整理上。