大數(shù)據(jù)時代的調(diào)查研究面臨四個轉(zhuǎn)變_數(shù)據(jù)分析師培訓(xùn)

當(dāng)前社會，數(shù)據(jù)處于一種爆炸增長狀態(tài)，在經(jīng)濟社會各領(lǐng)域，對于數(shù)據(jù)的駕馭決定了未來的發(fā)展和走向，調(diào)查研究工作也不例外。筆者認(rèn)為，在大數(shù)據(jù)時代勢不可擋的背景下，調(diào)查研究應(yīng)當(dāng)順勢而為，努力做到四個轉(zhuǎn)變。

從人工調(diào)研為主向基于互聯(lián)網(wǎng)數(shù)據(jù)調(diào)研的轉(zhuǎn)變

傳統(tǒng)的調(diào)查研究方法包括會議調(diào)查法、實地觀察法、文獻(xiàn)調(diào)查法、書面調(diào)查法、測驗調(diào)查法、資料調(diào)查法、綜合歸納法、問卷調(diào)查法等，我們統(tǒng)稱之為人工調(diào)研。人工調(diào)研的突出優(yōu)勢在于調(diào)查人員能夠直觀地掌握第一手的資料和情況，但其缺點同樣是顯而易見的：調(diào)研樣本采集困難、調(diào)研費用昂貴、調(diào)研周期過長、調(diào)研環(huán)節(jié)監(jiān)控滯后等等。

與傳統(tǒng)的手工或面對面調(diào)研方式不同，互聯(lián)網(wǎng)數(shù)據(jù)調(diào)研是利用互聯(lián)網(wǎng)和科技手段在線收集數(shù)據(jù)信息的一種新型調(diào)研方式。比較常見的方式有在線調(diào)查、計算機輔助電話咨詢、Email問卷調(diào)查等。較之人工調(diào)研，互聯(lián)網(wǎng)數(shù)據(jù)調(diào)研具有信息收集的廣泛性、調(diào)研信息的及時性和共享性、調(diào)研的便捷性和經(jīng)濟性、調(diào)研結(jié)果的準(zhǔn)確性等顯著優(yōu)勢。以在線調(diào)查為例，通過ip、cookie等技術(shù)手段，對受訪者的注冊過程和答題過程進(jìn)行甄別，可以有效提高問卷答案的真實性。由于在線調(diào)查不受時間和地點的限制，并且可以省掉傳統(tǒng)調(diào)查中很多必不可少的環(huán)節(jié)，大大縮短了調(diào)研周期，提升了調(diào)研工作的效率。

從樣本采集分析向云數(shù)據(jù)、全覆蓋數(shù)據(jù)調(diào)研的轉(zhuǎn)變

隨著大數(shù)據(jù)時代的到來，在互聯(lián)網(wǎng)和信息技術(shù)革命強大推動力的驅(qū)使下，調(diào)查研究工作的數(shù)據(jù)基礎(chǔ)開始面臨新的挑戰(zhàn)。以前，傳統(tǒng)的調(diào)研工作往往采用樣本采集分析的方式，這種方式雖然可以利用少量的信息調(diào)查對象的整體情況，但仍然比較粗糙，分析的信度不夠高。云數(shù)據(jù)和全覆蓋數(shù)據(jù)具有體積巨大、類型繁多、速率極高、效度較準(zhǔn)但是價值密度低的特點，面對這一特點，調(diào)查研究工作的數(shù)據(jù)基礎(chǔ)將發(fā)生較大轉(zhuǎn)變，我們分析與調(diào)查的是調(diào)研對象相關(guān)的所有數(shù)據(jù)，而不是依靠分析少量數(shù)據(jù)，我們不再僅僅追求準(zhǔn)確性，而應(yīng)樂于接受數(shù)據(jù)的紛繁復(fù)雜。

大數(shù)據(jù)時代的調(diào)查研究工作，一方面要盡可能掌握和運用更多的數(shù)據(jù)，以便我們更加正確地考察細(xì)節(jié)并進(jìn)行新的分析。當(dāng)然，實現(xiàn)各行業(yè)、各單位尤其是政府各部門之間的信息共享，是獲取云數(shù)據(jù)、全覆蓋數(shù)據(jù)的基本前提。在此基礎(chǔ)上，應(yīng)進(jìn)一步通過各種媒介平臺，搜集、梳理、分析海量信息，獲取網(wǎng)絡(luò)輿情、民意取向等，通過梳理信息流并借助先進(jìn)的技術(shù)工具進(jìn)行整理，形成覆蓋調(diào)查研究問題涉及的全方位因素的云數(shù)據(jù)，為提高調(diào)查研究水平夯實數(shù)據(jù)基礎(chǔ)。另一方面，也要看到海量數(shù)據(jù)存在著“偏愛潮流”、“不懂背景”、“過分解構(gòu)”等局限性，應(yīng)結(jié)合一定的分析方法和手段，例如調(diào)查問卷、深入訪談、焦點座談、二手資料研究、標(biāo)桿研究等，將獲取的海量云數(shù)據(jù)和可信的傳統(tǒng)數(shù)據(jù)樣本相互對比、相互印證、整合運用，以進(jìn)一步增強調(diào)查研究數(shù)據(jù)基礎(chǔ)工作的科學(xué)性。

從因果分析、邏輯推理調(diào)研向關(guān)聯(lián)、非關(guān)聯(lián)等相關(guān)因素呈現(xiàn)式調(diào)研的轉(zhuǎn)變

在傳統(tǒng)的調(diào)查研究中，因果分析、邏輯推理是最重要的研究方法，通過這種方法得出的結(jié)論往往需要通過實踐進(jìn)行驗證和修補，有的甚至最終會被證偽、推翻。究其原因，關(guān)鍵在于我們的主觀世界與客觀世界的信息嚴(yán)重不對稱?？陀^世界信息無限豐富，而我們自身受眼界、技術(shù)、認(rèn)知能力等因素的制約，能夠獲取的信息極為有限，我們只能像管中窺豹或者盲人摸象一樣，憑借經(jīng)驗、常識乃至主觀好惡對抽樣數(shù)據(jù)進(jìn)行判斷、分析，借以推測事物的全貌。事實上，由局部推測整體的調(diào)查研究始終是存在偏差的，其結(jié)論甚至可能會與事物的真實狀況大相徑庭。

大數(shù)據(jù)時代的調(diào)查研究既不必、也不應(yīng)再拘泥于對因果關(guān)系的探究，相反，我們完全有條件實現(xiàn)向關(guān)聯(lián)、非關(guān)聯(lián)等相關(guān)因素呈現(xiàn)式調(diào)研的轉(zhuǎn)變。20世紀(jì)90年代，美國沃爾瑪超市將A prior算法引入到POS機數(shù)據(jù)分析中，從10萬種以上的商品中發(fā)現(xiàn)了啤酒與尿布的相關(guān)性，于是將兩種商品擺放在一起，從而大幅提高了啤酒的銷售量。類似的案例不勝枚舉。如今，我們也已經(jīng)步入大數(shù)據(jù)時代，海量數(shù)據(jù)不斷涌現(xiàn)，數(shù)據(jù)搜集、存儲、處理能力日益提高。充分利用互聯(lián)網(wǎng)、云計算等現(xiàn)代化手段，對海量的數(shù)據(jù)進(jìn)行統(tǒng)計性的搜索、比較、分析、歸納，我們會發(fā)現(xiàn)，原本似乎毫不相干的事物之間存在著較高的關(guān)聯(lián)度，這是傳統(tǒng)的因果分析、邏輯推理調(diào)研難以解釋也無法企及的。

從已經(jīng)發(fā)生的歷史靜態(tài)調(diào)研向不斷變化的動態(tài)追蹤調(diào)研轉(zhuǎn)變

傳統(tǒng)的調(diào)研方式是對現(xiàn)狀的梳理、問題的分析、情況的總結(jié)和對策的應(yīng)用，著眼于歷史上已經(jīng)發(fā)生的和現(xiàn)實存在的種種問題，通過精確的樣本和深度的數(shù)據(jù)挖掘，將不符合要求的樣本過濾掉，找出現(xiàn)狀、問題、原因、建議等之間的“因果關(guān)系”，表現(xiàn)為對某一時點的靜態(tài)分析。在大數(shù)據(jù)時代，由于大數(shù)據(jù)思維強調(diào)的是效率而非精確度，更多的是通過各種數(shù)據(jù)分析得出某種趨勢和事物發(fā)展的規(guī)律，這種趨勢未必要精確，但是能夠讓決策者有足夠的做出某種決定的依據(jù)；同時，在大數(shù)據(jù)時代的調(diào)研更強調(diào)持續(xù)性，由于數(shù)據(jù)來源廣泛且不斷變化，對現(xiàn)實情況的分析、問題的查找和建議的提出就要隨著數(shù)據(jù)的變化而不斷變化；更重要的是，這種調(diào)研是著眼于未來，對于已發(fā)生的情況解釋和問題分析都是為了今后事物的發(fā)展、前景和走向，特別是通過充分的數(shù)據(jù)分析以預(yù)測的形式表現(xiàn)這種趨勢。

總之，做好大數(shù)據(jù)時代的調(diào)研需要“可以利用的大數(shù)據(jù)”，做到調(diào)研方式從依靠人工到基于互聯(lián)網(wǎng)的轉(zhuǎn)變，數(shù)據(jù)基礎(chǔ)從有限樣本到云數(shù)據(jù)、全覆蓋的轉(zhuǎn)變，研究方法從因果關(guān)系到關(guān)聯(lián)關(guān)系等多種分析模式的轉(zhuǎn)變，調(diào)研導(dǎo)向從回顧靜態(tài)歷史到展望動態(tài)未來的轉(zhuǎn)變，并且在這些轉(zhuǎn)變中形成現(xiàn)代化治理體系中的所需要的核心能力。