大數(shù)據(jù)應(yīng)用的四個(gè)常規(guī)錯(cuò)誤認(rèn)識(shí)

有關(guān)數(shù)據(jù)和數(shù)據(jù)分析的高談闊論比比皆是。不斷有人告誡各大公司要規(guī)劃恰當(dāng)戰(zhàn)略來收集分析大數(shù)據(jù)，并警告不這么做可能帶來的不良后果。很多公司都覺得自己享有客戶數(shù)據(jù)這樣一個(gè)大寶藏，卻大都不知道該如何利用。我們歸納了管理者在數(shù)據(jù)應(yīng)用上的四個(gè)常規(guī)錯(cuò)誤認(rèn)識(shí)。

錯(cuò)誤一：沒有理解融合的概念

阻礙大數(shù)據(jù)發(fā)揮價(jià)值的第一大挑戰(zhàn)就是兼容性和融合性。大數(shù)據(jù)的一個(gè)主要特點(diǎn)是其來源多樣。然而，如果數(shù)據(jù)形式不相同，或難以整合，則其來源的多樣性將使公司難以削減開支，也無法為客戶創(chuàng)造價(jià)值。例如，在我們和一個(gè)合作項(xiàng)目中，該公司擁有豐富的數(shù)據(jù)，記錄客戶的交易量和忠誠(chéng)度，以及專門的在線瀏覽行為數(shù)據(jù)，但是鮮少交叉檢索這兩類數(shù)據(jù)來判斷某種瀏覽行為即為交易達(dá)成的前兆。面對(duì)這種挑戰(zhàn)，公司創(chuàng)建了“數(shù)據(jù)湖”來容納大量非結(jié)構(gòu)性數(shù)據(jù)。但是，這些公司能夠加以利用的數(shù)據(jù)目前都顯得雜亂無章，只不過是一些以文本，也就是說，當(dāng)這些數(shù)據(jù)只是普通的二進(jìn)制數(shù)字時(shí)，要將它們井然有序地存儲(chǔ)起來非常困難。要將來源不同的它們整合起來更是難上加難。

錯(cuò)誤二：沒有認(rèn)識(shí)到非結(jié)構(gòu)化數(shù)據(jù)的局限性

阻礙大數(shù)據(jù)發(fā)揮價(jià)值的第二大挑戰(zhàn)是其非結(jié)構(gòu)化的特性。對(duì)文本數(shù)據(jù)的挖掘已經(jīng)有了特別的進(jìn)展，其語境和技術(shù)所帶來的認(rèn)識(shí)與結(jié)構(gòu)化數(shù)據(jù)類似，只是其它形式的數(shù)據(jù)如視頻仍不易于分析。舉個(gè)例子，雖然擁有最先進(jìn)的人臉識(shí)別軟件，有關(guān)當(dāng)局仍然無法從大量視頻中識(shí)別出波士頓馬拉松爆炸案中的兩名嫌疑人，因?yàn)樵撥浖性谔幚韽牟煌嵌扰臄z的嫌疑人的照片。

雖然從非結(jié)構(gòu)性數(shù)據(jù)獲取信息面臨挑戰(zhàn)，但是各公司在利用這些數(shù)據(jù)初步提升分析已有數(shù)據(jù)的速度和精確度上取得了顯著成績(jī)。比如，在石油和天然氣勘探中，人們就用大數(shù)據(jù)來優(yōu)化正在進(jìn)行的操作，以及針對(duì)地震鉆井的數(shù)據(jù)分析。盡管他們所使用的數(shù)據(jù)在速度、種類和體積上都有可能增加，最終這些數(shù)據(jù)還是用于同一個(gè)目的?？傊婚_始就希望通過利用非結(jié)構(gòu)性數(shù)據(jù)形成新的研究假設(shè)是站不住腳的，除非各公司通過“實(shí)踐”有了這種專業(yè)能力，能利用非結(jié)構(gòu)性數(shù)據(jù)優(yōu)化某個(gè)問題答案。

錯(cuò)誤三：以為關(guān)聯(lián)分析意義重大

第三大挑戰(zhàn)——我們認(rèn)為是阻礙大數(shù)據(jù)價(jià)值的最重要的影響因素——是觀測(cè)數(shù)據(jù)的大量重疊使其因果關(guān)系難以明確。大規(guī)模數(shù)據(jù)集往往包含眾多相似或完全一致的信息，直接導(dǎo)致錯(cuò)誤的關(guān)聯(lián)分析，誤導(dǎo)管理者的決策。近日《經(jīng)濟(jì)學(xué)人》指出“在大數(shù)據(jù)時(shí)代，相互關(guān)系往往是自己浮現(xiàn)出來的”，《斯隆管理評(píng)論》在博客中強(qiáng)調(diào)雖然很多公司都能接觸到大數(shù)據(jù)，但是這些數(shù)據(jù)并不“客觀”，因?yàn)閱栴}在于要從中提煉出值得采取行動(dòng)的信息。同樣，典型的用于分析數(shù)據(jù)的機(jī)器學(xué)習(xí)算法所進(jìn)行的關(guān)聯(lián)分析并不一定會(huì)提供原因分析，因而不會(huì)給出可執(zhí)行的管理意見。也就是說，讓大數(shù)據(jù)有利可圖的技巧在于能夠從僅僅觀測(cè)到相互關(guān)系轉(zhuǎn)變?yōu)檎_鑒別何種關(guān)聯(lián)為因果形式，可以作為戰(zhàn)略舉措的基礎(chǔ)。要做到這一點(diǎn)就必須超越大數(shù)據(jù)。

谷歌趨勢(shì)是大數(shù)據(jù)的經(jīng)典范例，它利用谷歌搜索詞條整合記錄。然而，它也說明了僅僅用于關(guān)聯(lián)分析的數(shù)據(jù)是毫無意義的。起初，研究人員稱數(shù)據(jù)可以用于反映流感的傳播。然而后來，研究人員發(fā)現(xiàn)因?yàn)閿?shù)據(jù)體現(xiàn)的是過去，使用這些數(shù)據(jù)只能在現(xiàn)狀與過去模式相關(guān)的情況下，稍微改善應(yīng)對(duì)行為。

舉個(gè)更具體的例子，假設(shè)一個(gè)鞋業(yè)銷售商向曾瀏覽其網(wǎng)站的消費(fèi)者投放廣告。原始數(shù)據(jù)分析認(rèn)為消費(fèi)者看到這些廣告會(huì)更愿意購(gòu)買鞋子?？墒?，這些消費(fèi)者在看到廣告之前就已經(jīng)對(duì)該銷售商表現(xiàn)出了興趣，因而比普通人更愿意進(jìn)行交易。這個(gè)廣告有效嗎？很難說。實(shí)際上，這里的大數(shù)據(jù)并沒有考慮營(yíng)銷傳播有效性的因果推論。要知道該廣告是否有效，銷售商需要進(jìn)行隨機(jī)檢測(cè)或試驗(yàn)，選取一部分消費(fèi)者不接觸這個(gè)廣告。通過比較看了廣告和沒看廣告的消費(fèi)者之間的購(gòu)買率，公司才能確定是否看到廣告能讓消費(fèi)者更愿意消費(fèi)。這個(gè)案例中，價(jià)值主要不是通過數(shù)據(jù)創(chuàng)造的，而是通過設(shè)計(jì)、執(zhí)行以及闡釋重要的試驗(yàn)來創(chuàng)造的。

這是個(gè)試驗(yàn)，不是分析觀測(cè)到的大數(shù)據(jù)集來幫助公司了解一段聯(lián)系到底是僅僅相關(guān)還是因?yàn)榉磻?yīng)潛在的因果關(guān)系而變得可以賴以作出判斷。雖然對(duì)于管理者來說，哪怕僅利用記錄消費(fèi)者行為一拍字節(jié)的數(shù)據(jù)來提升效益都很困難，但是比較參與了營(yíng)銷活動(dòng)的客戶和沒有參與的客戶——根據(jù)試驗(yàn)結(jié)果——能夠讓營(yíng)銷人員推論這個(gè)活動(dòng)是否有利可圖。

開展實(shí)地試驗(yàn)，得出正確的結(jié)論，采取恰當(dāng)?shù)膽?yīng)對(duì)措施，都不是輕而易舉的事。但是成功的公司已經(jīng)有能力來設(shè)計(jì)、開展重要的實(shí)地試驗(yàn)，并對(duì)其結(jié)果評(píng)估，采取針對(duì)性措施。正是這種“試驗(yàn)加學(xué)習(xí)”的環(huán)境，以及對(duì)其能否加以推廣的理解和認(rèn)識(shí)之上采取行動(dòng)的能力，才讓大數(shù)據(jù)有價(jià)值。

只是，由于越來越多的數(shù)據(jù)樣本收益遞減，這樣的試驗(yàn)并不一定需要大數(shù)據(jù)。比如：谷歌透露說其往往用有效數(shù)據(jù)的0.1%中的隨機(jī)樣本來進(jìn)行數(shù)據(jù)分析。確實(shí)，近日刊登的一篇文章顯示大數(shù)據(jù)的大實(shí)際上是不利的，因?yàn)椤皵?shù)據(jù)庫越大，就越容易支持你提出的假設(shè)?！睋Q句話說，因?yàn)榇髷?shù)據(jù)提供重疊的信息，公司能從整個(gè)數(shù)據(jù)集，也能從其千分之一的數(shù)據(jù)集中獲取同樣的信息。

錯(cuò)誤四：低估了勞動(dòng)力技術(shù)需求

開展試驗(yàn)不是公司從大數(shù)據(jù)推測(cè)有價(jià)值信息的唯一途徑。另一個(gè)可行的方法是公司可以培養(yǎng)算法技能，來更好的處理數(shù)據(jù)。推薦系統(tǒng)便是此類算法的一個(gè)范例。推薦系統(tǒng)通過針對(duì)關(guān)聯(lián)數(shù)據(jù)的算法向客戶推薦最相關(guān)的產(chǎn)品。只是，它不是依靠背后規(guī)模龐大的數(shù)據(jù)，而是依賴識(shí)別關(guān)鍵信息碎片來預(yù)測(cè)客戶偏好的能力。的確，往往不是數(shù)據(jù)的規(guī)模，而是計(jì)算機(jī)學(xué)習(xí)的算法來確定結(jié)果的質(zhì)量。盡管預(yù)測(cè)能力可能增加可用數(shù)據(jù)的規(guī)模，但是在大多數(shù)情況中，預(yù)測(cè)的提升說明規(guī)模收益隨著數(shù)據(jù)集增加而遞減不過，要建立好的算法就需要好的數(shù)據(jù)分析師。一些公司以為不用聘請(qǐng)員工來分析數(shù)據(jù)中的因果聯(lián)系就能將大量的數(shù)據(jù)轉(zhuǎn)化為信息，他們可能要失望了。

數(shù)據(jù)本身是沒有價(jià)值的。只有與管理、構(gòu)建和分析技能結(jié)合來，明確對(duì)其進(jìn)行試驗(yàn)和算法，才能對(duì)公司有用。當(dāng)你把價(jià)格信息看做是對(duì)價(jià)格信息處理的技能時(shí)就清楚了。很多情況下，相對(duì)于數(shù)據(jù)成本，留住數(shù)據(jù)處理人才成本更高。這說明對(duì)于一個(gè)公司而言，數(shù)據(jù)處理能力比數(shù)據(jù)本身更重要。