認(rèn)知應(yīng)用:大數(shù)據(jù)的下個轉(zhuǎn)折點(diǎn)

這篇文章是一個投資者對數(shù)據(jù)分析在過去25年的回顧。作者西蒙迪斯從投資者的角度討論了數(shù)據(jù)分析的變革，認(rèn)知應(yīng)用的價(jià)值，以及最受風(fēng)投關(guān)注的大數(shù)據(jù)核心領(lǐng)域。
　　在我的之前的一些博客中，我提到了生成認(rèn)知的必要性和重要性，并提供了一個認(rèn)知應(yīng)用的例子。我始終認(rèn)為認(rèn)知應(yīng)用是對于希望通過挖掘大數(shù)據(jù)從而改進(jìn)決策和解決重要問題的公司的關(guān)鍵所在。為了更好的理解和領(lǐng)會開發(fā)這類應(yīng)用的必要性，考慮在大數(shù)據(jù)領(lǐng)域正在發(fā)生什么，并且評估我們在商業(yè)智能系統(tǒng)上的經(jīng)驗(yàn)，及它應(yīng)該如何驅(qū)動我們理解認(rèn)知應(yīng)用是十分重要的。
　　由于我認(rèn)為認(rèn)知應(yīng)用是大數(shù)據(jù)發(fā)展的下一個轉(zhuǎn)折（參見最近使用IBM Watson平臺建立的這類應(yīng)用舉例），我將要在一系列博客中進(jìn)一步探討這個話題。在這篇博客中，我對于數(shù)據(jù)分析在過去25年的演變進(jìn)行了觀察。，特別是當(dāng)我們來到大數(shù)據(jù)時(shí)代，開發(fā)認(rèn)知應(yīng)用是必然之舉。在第二篇博客中，我將更為詳細(xì)地描述這類應(yīng)用，并且提供一些例子。在第最后的第三篇博客中，我將討論投資者對認(rèn)知應(yīng)用的興趣，并描述我最近對這一領(lǐng)域的創(chuàng)業(yè)公司的投資。在這些博客中，我的分析和理解均基于本人作為三十多年的企業(yè)家、量兩分析應(yīng)用創(chuàng)業(yè)公司的創(chuàng)始人以及在這一領(lǐng)域進(jìn)行了15年投資的風(fēng)險(xiǎn)投資人的經(jīng)驗(yàn)。
　　數(shù)據(jù)分析在過去25年
　　隨著過去25年中數(shù)據(jù)量的大幅增加，針對決策制定的數(shù)據(jù)理解都由兩個步驟組成：創(chuàng)建數(shù)據(jù)倉庫以及理解數(shù)據(jù)倉庫的內(nèi)容。
　　數(shù)據(jù)倉庫以及它的前身—企業(yè)數(shù)據(jù)倉庫、數(shù)據(jù)市場等，是構(gòu)造專業(yè)數(shù)據(jù)庫所必須的基礎(chǔ)架構(gòu)。這些數(shù)據(jù)可能來自于一個單獨(dú)的數(shù)據(jù)源（例如客戶關(guān)系管理應(yīng)用的數(shù)據(jù)庫）或者來自整合過的一系列不同的數(shù)據(jù)源（例如將一個客戶關(guān)系管理應(yīng)用的數(shù)據(jù)庫和一個包含每個客戶的社交媒體交互數(shù)據(jù)的數(shù)據(jù)庫整合起來）。這些數(shù)據(jù)可能是結(jié)構(gòu)化的（例如貨幣被描述為每個用戶支付的數(shù)量）、非結(jié)構(gòu)化的（例如一個客戶和一個服務(wù)專員之間以文本形式的交互內(nèi)容）。專業(yè)化數(shù)據(jù)是那些一旦被抓取，就是干凈的、有標(biāo)簽的、并且自動地或被（比人們認(rèn)為更頻繁地進(jìn)行）人工描述的。
　　在過去幾年里，我們已經(jīng)通過大量使用開源軟件、云計(jì)算、商用硬件等來降低數(shù)據(jù)倉庫的開銷，并進(jìn)一步改進(jìn)我們管理更多樣、大量和高速產(chǎn)生的數(shù)據(jù)的能力。我們已經(jīng)從只有諸如金融服務(wù)的花旗銀行以及零售業(yè)的沃爾瑪之類的大公司才能負(fù)擔(dān)的、千萬美元開銷的數(shù)據(jù)倉庫轉(zhuǎn)向?qū)τ谥行⌒推髽I(yè)可以負(fù)擔(dān)得起的數(shù)據(jù)倉庫。最近，低開銷的服務(wù)提供方，諸如亞馬遜的Redshift，谷歌的BigQuery，甚至是微軟的Azure，已經(jīng)把數(shù)據(jù)倉庫移到云上。最終，數(shù)據(jù)倉庫對于普通企業(yè)來說都是可用的。
　　隨著數(shù)據(jù)倉庫的崛起，數(shù)據(jù)分析報(bào)告的交付已從打印轉(zhuǎn)向數(shù)據(jù)化
　　數(shù)據(jù)理解的第二步涉及到通過數(shù)據(jù)分析來理解數(shù)據(jù)倉庫的內(nèi)容。在商業(yè)環(huán)境中，這往往是通過報(bào)告和關(guān)聯(lián)的可視化來完成，有時(shí)候也會使用更加定制化的可視化和諸如神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)算法（機(jī)器學(xué)習(xí)雖然并不是新概念，但幾乎從數(shù)據(jù)倉庫作為數(shù)據(jù)存儲和管理工具出現(xiàn)開始就被使用）。
　　隨著數(shù)據(jù)倉庫被更多的各行各業(yè)的公司所采用，我們見證了可以創(chuàng)建的報(bào)告的形式的逐漸改變，報(bào)告被展現(xiàn)給分析師和決策者，以及準(zhǔn)備報(bào)告的人。在早期（80年代末90年代早期），商務(wù)智能報(bào)告由技術(shù)專員創(chuàng)建，他們也是通過向數(shù)據(jù)倉庫提供函數(shù)和查詢來得到報(bào)告。這些報(bào)告被封裝（例如，它們可以被修改，但是有很大難度，且只能被同一個創(chuàng)建報(bào)告的技術(shù)專員所修改），并在計(jì)算機(jī)打印紙上呈現(xiàn)。后來，盡管這些報(bào)告仍然被封裝，它們可以在電腦上通過專門的報(bào)告程序來呈現(xiàn)，再后來，可以呈現(xiàn)在包括智能電話和手持終端運(yùn)行的網(wǎng)絡(luò)瀏覽器上。近年來，查詢創(chuàng)建和報(bào)告撰寫的任務(wù)從技術(shù)專員轉(zhuǎn)交給了商業(yè)用戶。然而，盡管查詢和關(guān)聯(lián)的報(bào)告變得更快、更靈活、被更廣泛的使用，這些報(bào)告的主要用戶——商業(yè)分析師們，仍然困擾于在大量信息中發(fā)現(xiàn)在報(bào)告中存在的最簡單的模式。最重要的是，這些用戶糾結(jié)于基于報(bào)告所包含的信息應(yīng)該決定采取什么行動（參見圖1的例子）。

　　隨著更多數(shù)據(jù)的產(chǎn)生，我們已經(jīng)可以更有效地管理數(shù)據(jù)所帶來的開銷，但是仍然掙扎于進(jìn)行有效的數(shù)據(jù)分析
　　受到全球因特網(wǎng)的普及，它所帶來的網(wǎng)絡(luò)連通性的驅(qū)動，物聯(lián)網(wǎng)之類的新領(lǐng)域產(chǎn)生的前所未見的海量數(shù)據(jù)，以及基于這些所創(chuàng)建的大量應(yīng)用，使得我們被數(shù)據(jù)所淹沒?？焖贁?shù)據(jù)和慢數(shù)據(jù)，簡單數(shù)據(jù)和復(fù)雜數(shù)據(jù)，所有這些數(shù)據(jù)都是前所未有的大量。數(shù)據(jù)的量變的多大了呢？我們已經(jīng)從在2014年產(chǎn)生大約5澤字節(jié)的非結(jié)構(gòu)化數(shù)據(jù)到2020年將增加到大約40澤字節(jié)的非結(jié)構(gòu)化（參見圖2）。

　　特別是在上一個十年間，隨著數(shù)據(jù)量變得更大，企業(yè)的IT策略核心變?yōu)橛煤苌俚馁Y源做更多的事。公司的數(shù)據(jù)倉庫開始面臨兩大問題。第一，其中的一些系統(tǒng)不能有效地管理所獲取的海量數(shù)據(jù)，因而數(shù)據(jù)不能被應(yīng)用有效的利用。第二，開銷變得不能承受的高，成為數(shù)據(jù)管理方面另一大挑戰(zhàn)。
　　與此同時(shí)，當(dāng)新一代的數(shù)據(jù)管理軟件（例如Hadoop）被谷歌、雅虎等重量級科技公司開發(fā)出來，一些“部分”解決方案開始出現(xiàn)。一開始，這些軟件在商用硬件上運(yùn)行，并且很快開源，從而使得企業(yè)可以以較低的開銷來解決它們的大數(shù)據(jù)問題。Cloudera, Hortonworks以及一些其他提供開源軟件服務(wù)的公司在大數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域扮演了重要角色。我將這些解決方案稱為“部分”是因?yàn)樵诠芾頂?shù)據(jù)的同時(shí)，這些系統(tǒng)并不包含企業(yè)所使用數(shù)據(jù)倉庫系統(tǒng)的那些復(fù)雜的、專用的功能。但是這些新系統(tǒng)擅于構(gòu)建數(shù)據(jù)湖泊，適用于多樣化的大數(shù)據(jù)環(huán)境，并旨在通過更低的開銷替代或增強(qiáng)某些類型的數(shù)據(jù)倉庫。
　　盡管我們有效管理大數(shù)據(jù)開銷的能力得到了改進(jìn)，但是我們分析數(shù)據(jù)的能力，不計(jì)開銷的情況下，仍然沒有提升。盡管大眾媒體宣稱從數(shù)據(jù)中得來的認(rèn)知結(jié)果將是新的石油（或金子，挑選你喜歡的隱喻），但市場研究公司IDC預(yù)測，到2020只有很少一部分采集的數(shù)據(jù)會被分析。我們需要分析更多抓取的數(shù)據(jù)，并從中提取更多的信息。
　　我們正在致力于改進(jìn)我們分析數(shù)據(jù)的能力，但是面臨著數(shù)據(jù)專業(yè)人員的短缺
　　為了收集和分析更多的數(shù)據(jù)，同時(shí)不放棄報(bào)告的生成，我們開始廣泛采用機(jī)器學(xué)習(xí)和其他基于人工智能數(shù)據(jù)分析技術(shù)的自動化的信息抽取方法。然而，這些方法要求使用一類新的專業(yè)人員——數(shù)據(jù)科學(xué)家。盡管我們看到數(shù)據(jù)科學(xué)家的數(shù)量潮涌般增加，但是我們需要更多，并且，與正在產(chǎn)生的數(shù)據(jù)相比我們永遠(yuǎn)不能提供足夠的數(shù)據(jù)科學(xué)家。麥肯錫曾估計(jì)，到2018年，美國將面臨（大約14萬至19萬缺口）人才缺口，這些人擁有可以從收集的數(shù)據(jù)中提取認(rèn)知結(jié)果的深度分析技能。我們還將缺少大約150萬擁有量化分析技能的、可以基于數(shù)據(jù)科學(xué)家生成的大數(shù)據(jù)分析來做出重要商業(yè)決策的經(jīng)理。
　　機(jī)器學(xué)習(xí)改進(jìn)了我們發(fā)現(xiàn)數(shù)據(jù)中關(guān)聯(lián)性的能力，但做出決策的要求的時(shí)間變短了，而數(shù)據(jù)產(chǎn)生的速度增加了
　　商業(yè)智能是一個出現(xiàn)了近40年的領(lǐng)域。統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)技術(shù)被使用的時(shí)間則更長。在這一時(shí)期，我們已經(jīng)提升了我們從數(shù)據(jù)集中識別關(guān)聯(lián)性的能力，但是做出決策的時(shí)間要求正在變短，而數(shù)據(jù)產(chǎn)生的速度不斷增加。舉例來說，公司的首席金融官們可能有一個月的時(shí)間來創(chuàng)建金融預(yù)報(bào)，然而一個自動的在線廣告平臺只有僅僅10毫秒的時(shí)間來決定把哪一個數(shù)字廣告展現(xiàn)給特定的用戶（參見圖3）。此外，一個首席金融官僅需要參考幾十億字節(jié)的數(shù)據(jù)就可以得出決策，而在線廣告系統(tǒng)不得不分析萬億兆字節(jié)的數(shù)據(jù)，大部分的數(shù)據(jù)還是近實(shí)時(shí)生成的。

在一些應(yīng)用領(lǐng)域，簡單地識別出數(shù)據(jù)集中的關(guān)聯(lián)性對做出決策來說已經(jīng)足夠。在其中一些高價(jià)值高投資回報(bào)的領(lǐng)域，通過數(shù)據(jù)科學(xué)家和其他專業(yè)人員來從大量數(shù)據(jù)中抽取信息是合理且必要的。計(jì)算機(jī)安全威脅檢測以及信用卡欺詐檢測就是兩個這樣的領(lǐng)域。在這些領(lǐng)域里，作出決策的時(shí)間是非常短的，做出錯誤決定（過度保守）的代價(jià)，至少最初并不是非常高。將一個交易視作欺詐或者將一個行為視為安全入侵的代價(jià)也很低（例如持卡人的不便或是對于系統(tǒng)管理員的一些網(wǎng)絡(luò)取證）。但是，沒有檢測到在已建立的行為模式中的異常的代價(jià)將會更高。
　　為了跟上大數(shù)據(jù)的節(jié)奏和改善我們對信息的使用，我們需要能快速而廉價(jià)地抽取相關(guān)性并將其與行動關(guān)聯(lián)起來的應(yīng)用
　　考慮到預(yù)期的數(shù)據(jù)科學(xué)家和具有量化分析能力的商業(yè)用戶的短缺，以及我們迫切的繼續(xù)挖掘已經(jīng)收集到的海量數(shù)據(jù)的需求，我們要能更好地開發(fā)分析應(yīng)用，使其能夠生成認(rèn)知并關(guān)聯(lián)到行動上。這類應(yīng)用，被我稱為認(rèn)知應(yīng)用，將超遠(yuǎn)勝于從數(shù)據(jù)中抽取相關(guān)性。
　　我們已經(jīng)在數(shù)據(jù)理解上取得了很大進(jìn)展。我們已經(jīng)降低了管理大數(shù)據(jù)的開銷，與此同時(shí)改進(jìn)了我們分析和提取關(guān)鍵信息的能力。但是，大數(shù)據(jù)的增量過快以至于我們不能通過更快或者更靈活的查詢以及報(bào)告來緊跟步伐。我們需要能夠創(chuàng)建廉價(jià)快速的可執(zhí)行認(rèn)知能力，特別是通過使用認(rèn)知應(yīng)用。