認知應(yīng)用:大數(shù)據(jù)的下個轉(zhuǎn)折點

這篇文章是一個投資者對數(shù)據(jù)分析在過去25年的回顧。作者西蒙迪斯從投資者的角度討論了數(shù)據(jù)分析的變革，認知應(yīng)用的價值，以及最受風(fēng)投關(guān)注的大數(shù)據(jù)核心領(lǐng)域。
　　在我的之前的一些博客中，我提到了生成認知的必要性和重要性，并提供了一個認知應(yīng)用的例子。我始終認為認知應(yīng)用是對于希望通過挖掘大數(shù)據(jù)從而改進決策和解決重要問題的公司的關(guān)鍵所在。為了更好的理解和領(lǐng)會開發(fā)這類應(yīng)用的必要性，考慮在大數(shù)據(jù)領(lǐng)域正在發(fā)生什么，并且評估我們在商業(yè)智能系統(tǒng)上的經(jīng)驗，及它應(yīng)該如何驅(qū)動我們理解認知應(yīng)用是十分重要的。
　　由于我認為認知應(yīng)用是大數(shù)據(jù)發(fā)展的下一個轉(zhuǎn)折（參見最近使用IBM Watson平臺建立的這類應(yīng)用舉例），我將要在一系列博客中進一步探討這個話題。在這篇博客中，我對于數(shù)據(jù)分析在過去25年的演變進行了觀察。，特別是當(dāng)我們來到大數(shù)據(jù)時代，開發(fā)認知應(yīng)用是必然之舉。在第二篇博客中，我將更為詳細地描述這類應(yīng)用，并且提供一些例子。在第最后的第三篇博客中，我將討論投資者對認知應(yīng)用的興趣，并描述我最近對這一領(lǐng)域的創(chuàng)業(yè)公司的投資。在這些博客中，我的分析和理解均基于本人作為三十多年的企業(yè)家、量兩分析應(yīng)用創(chuàng)業(yè)公司的創(chuàng)始人以及在這一領(lǐng)域進行了15年投資的風(fēng)險投資人的經(jīng)驗。
　　數(shù)據(jù)分析在過去25年
　　隨著過去25年中數(shù)據(jù)量的大幅增加，針對決策制定的數(shù)據(jù)理解都由兩個步驟組成：創(chuàng)建數(shù)據(jù)倉庫以及理解數(shù)據(jù)倉庫的內(nèi)容。
　　數(shù)據(jù)倉庫以及它的前身—企業(yè)數(shù)據(jù)倉庫、數(shù)據(jù)市場等，是構(gòu)造專業(yè)數(shù)據(jù)庫所必須的基礎(chǔ)架構(gòu)。這些數(shù)據(jù)可能來自于一個單獨的數(shù)據(jù)源（例如客戶關(guān)系管理應(yīng)用的數(shù)據(jù)庫）或者來自整合過的一系列不同的數(shù)據(jù)源（例如將一個客戶關(guān)系管理應(yīng)用的數(shù)據(jù)庫和一個包含每個客戶的社交媒體交互數(shù)據(jù)的數(shù)據(jù)庫整合起來）。這些數(shù)據(jù)可能是結(jié)構(gòu)化的（例如貨幣被描述為每個用戶支付的數(shù)量）、非結(jié)構(gòu)化的（例如一個客戶和一個服務(wù)專員之間以文本形式的交互內(nèi)容）。專業(yè)化數(shù)據(jù)是那些一旦被抓取，就是干凈的、有標(biāo)簽的、并且自動地或被（比人們認為更頻繁地進行）人工描述的。
　　在過去幾年里，我們已經(jīng)通過大量使用開源軟件、云計算、商用硬件等來降低數(shù)據(jù)倉庫的開銷，并進一步改進我們管理更多樣、大量和高速產(chǎn)生的數(shù)據(jù)的能力。我們已經(jīng)從只有諸如金融服務(wù)的花旗銀行以及零售業(yè)的沃爾瑪之類的大公司才能負擔(dān)的、千萬美元開銷的數(shù)據(jù)倉庫轉(zhuǎn)向?qū)τ谥行⌒推髽I(yè)可以負擔(dān)得起的數(shù)據(jù)倉庫。最近，低開銷的服務(wù)提供方，諸如亞馬遜的Redshift，谷歌的BigQuery，甚至是微軟的Azure，已經(jīng)把數(shù)據(jù)倉庫移到云上。最終，數(shù)據(jù)倉庫對于普通企業(yè)來說都是可用的。
　　隨著數(shù)據(jù)倉庫的崛起，數(shù)據(jù)分析報告的交付已從打印轉(zhuǎn)向數(shù)據(jù)化
　　數(shù)據(jù)理解的第二步涉及到通過數(shù)據(jù)分析來理解數(shù)據(jù)倉庫的內(nèi)容。在商業(yè)環(huán)境中，這往往是通過報告和關(guān)聯(lián)的可視化來完成，有時候也會使用更加定制化的可視化和諸如神經(jīng)網(wǎng)絡(luò)的機器學(xué)習(xí)算法（機器學(xué)習(xí)雖然并不是新概念，但幾乎從數(shù)據(jù)倉庫作為數(shù)據(jù)存儲和管理工具出現(xiàn)開始就被使用）。
　　隨著數(shù)據(jù)倉庫被更多的各行各業(yè)的公司所采用，我們見證了可以創(chuàng)建的報告的形式的逐漸改變，報告被展現(xiàn)給分析師和決策者，以及準備報告的人。在早期（80年代末90年代早期），商務(wù)智能報告由技術(shù)專員創(chuàng)建，他們也是通過向數(shù)據(jù)倉庫提供函數(shù)和查詢來得到報告。這些報告被封裝（例如，它們可以被修改，但是有很大難度，且只能被同一個創(chuàng)建報告的技術(shù)專員所修改），并在計算機打印紙上呈現(xiàn)。后來，盡管這些報告仍然被封裝，它們可以在電腦上通過專門的報告程序來呈現(xiàn)，再后來，可以呈現(xiàn)在包括智能電話和手持終端運行的網(wǎng)絡(luò)瀏覽器上。近年來，查詢創(chuàng)建和報告撰寫的任務(wù)從技術(shù)專員轉(zhuǎn)交給了商業(yè)用戶。然而，盡管查詢和關(guān)聯(lián)的報告變得更快、更靈活、被更廣泛的使用，這些報告的主要用戶——商業(yè)分析師們，仍然困擾于在大量信息中發(fā)現(xiàn)在報告中存在的最簡單的模式。最重要的是，這些用戶糾結(jié)于基于報告所包含的信息應(yīng)該決定采取什么行動（參見圖1的例子）。

　　隨著更多數(shù)據(jù)的產(chǎn)生，我們已經(jīng)可以更有效地管理數(shù)據(jù)所帶來的開銷，但是仍然掙扎于進行有效的數(shù)據(jù)分析
　　受到全球因特網(wǎng)的普及，它所帶來的網(wǎng)絡(luò)連通性的驅(qū)動，物聯(lián)網(wǎng)之類的新領(lǐng)域產(chǎn)生的前所未見的海量數(shù)據(jù)，以及基于這些所創(chuàng)建的大量應(yīng)用，使得我們被數(shù)據(jù)所淹沒?？焖贁?shù)據(jù)和慢數(shù)據(jù)，簡單數(shù)據(jù)和復(fù)雜數(shù)據(jù)，所有這些數(shù)據(jù)都是前所未有的大量。數(shù)據(jù)的量變的多大了呢？我們已經(jīng)從在2014年產(chǎn)生大約5澤字節(jié)的非結(jié)構(gòu)化數(shù)據(jù)到2020年將增加到大約40澤字節(jié)的非結(jié)構(gòu)化（參見圖2）。

　　特別是在上一個十年間，隨著數(shù)據(jù)量變得更大，企業(yè)的IT策略核心變?yōu)橛煤苌俚馁Y源做更多的事。公司的數(shù)據(jù)倉庫開始面臨兩大問題。第一，其中的一些系統(tǒng)不能有效地管理所獲取的海量數(shù)據(jù)，因而數(shù)據(jù)不能被應(yīng)用有效的利用。第二，開銷變得不能承受的高，成為數(shù)據(jù)管理方面另一大挑戰(zhàn)。
　　與此同時，當(dāng)新一代的數(shù)據(jù)管理軟件（例如Hadoop）被谷歌、雅虎等重量級科技公司開發(fā)出來，一些“部分”解決方案開始出現(xiàn)。一開始，這些軟件在商用硬件上運行，并且很快開源，從而使得企業(yè)可以以較低的開銷來解決它們的大數(shù)據(jù)問題。Cloudera, Hortonworks以及一些其他提供開源軟件服務(wù)的公司在大數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域扮演了重要角色。我將這些解決方案稱為“部分”是因為在管理數(shù)據(jù)的同時，這些系統(tǒng)并不包含企業(yè)所使用數(shù)據(jù)倉庫系統(tǒng)的那些復(fù)雜的、專用的功能。但是這些新系統(tǒng)擅于構(gòu)建數(shù)據(jù)湖泊，適用于多樣化的大數(shù)據(jù)環(huán)境，并旨在通過更低的開銷替代或增強某些類型的數(shù)據(jù)倉庫。
　　盡管我們有效管理大數(shù)據(jù)開銷的能力得到了改進，但是我們分析數(shù)據(jù)的能力，不計開銷的情況下，仍然沒有提升。盡管大眾媒體宣稱從數(shù)據(jù)中得來的認知結(jié)果將是新的石油（或金子，挑選你喜歡的隱喻），但市場研究公司IDC預(yù)測，到2020只有很少一部分采集的數(shù)據(jù)會被分析。我們需要分析更多抓取的數(shù)據(jù)，并從中提取更多的信息。
　　我們正在致力于改進我們分析數(shù)據(jù)的能力，但是面臨著數(shù)據(jù)專業(yè)人員的短缺
　　為了收集和分析更多的數(shù)據(jù)，同時不放棄報告的生成，我們開始廣泛采用機器學(xué)習(xí)和其他基于人工智能數(shù)據(jù)分析技術(shù)的自動化的信息抽取方法。然而，這些方法要求使用一類新的專業(yè)人員——數(shù)據(jù)科學(xué)家。盡管我們看到數(shù)據(jù)科學(xué)家的數(shù)量潮涌般增加，但是我們需要更多，并且，與正在產(chǎn)生的數(shù)據(jù)相比我們永遠不能提供足夠的數(shù)據(jù)科學(xué)家。麥肯錫曾估計，到2018年，美國將面臨（大約14萬至19萬缺口）人才缺口，這些人擁有可以從收集的數(shù)據(jù)中提取認知結(jié)果的深度分析技能。我們還將缺少大約150萬擁有量化分析技能的、可以基于數(shù)據(jù)科學(xué)家生成的大數(shù)據(jù)分析來做出重要商業(yè)決策的經(jīng)理。
　　機器學(xué)習(xí)改進了我們發(fā)現(xiàn)數(shù)據(jù)中關(guān)聯(lián)性的能力，但做出決策的要求的時間變短了，而數(shù)據(jù)產(chǎn)生的速度增加了
　　商業(yè)智能是一個出現(xiàn)了近40年的領(lǐng)域。統(tǒng)計分析和機器學(xué)習(xí)技術(shù)被使用的時間則更長。在這一時期，我們已經(jīng)提升了我們從數(shù)據(jù)集中識別關(guān)聯(lián)性的能力，但是做出決策的時間要求正在變短，而數(shù)據(jù)產(chǎn)生的速度不斷增加。舉例來說，公司的首席金融官們可能有一個月的時間來創(chuàng)建金融預(yù)報，然而一個自動的在線廣告平臺只有僅僅10毫秒的時間來決定把哪一個數(shù)字廣告展現(xiàn)給特定的用戶（參見圖3）。此外，一個首席金融官僅需要參考幾十億字節(jié)的數(shù)據(jù)就可以得出決策，而在線廣告系統(tǒng)不得不分析萬億兆字節(jié)的數(shù)據(jù)，大部分的數(shù)據(jù)還是近實時生成的。

在一些應(yīng)用領(lǐng)域，簡單地識別出數(shù)據(jù)集中的關(guān)聯(lián)性對做出決策來說已經(jīng)足夠。在其中一些高價值高投資回報的領(lǐng)域，通過數(shù)據(jù)科學(xué)家和其他專業(yè)人員來從大量數(shù)據(jù)中抽取信息是合理且必要的。計算機安全威脅檢測以及信用卡欺詐檢測就是兩個這樣的領(lǐng)域。在這些領(lǐng)域里，作出決策的時間是非常短的，做出錯誤決定（過度保守）的代價，至少最初并不是非常高。將一個交易視作欺詐或者將一個行為視為安全入侵的代價也很低（例如持卡人的不便或是對于系統(tǒng)管理員的一些網(wǎng)絡(luò)取證）。但是，沒有檢測到在已建立的行為模式中的異常的代價將會更高。
　　為了跟上大數(shù)據(jù)的節(jié)奏和改善我們對信息的使用，我們需要能快速而廉價地抽取相關(guān)性并將其與行動關(guān)聯(lián)起來的應(yīng)用
　　考慮到預(yù)期的數(shù)據(jù)科學(xué)家和具有量化分析能力的商業(yè)用戶的短缺，以及我們迫切的繼續(xù)挖掘已經(jīng)收集到的海量數(shù)據(jù)的需求，我們要能更好地開發(fā)分析應(yīng)用，使其能夠生成認知并關(guān)聯(lián)到行動上。這類應(yīng)用，被我稱為認知應(yīng)用，將超遠勝于從數(shù)據(jù)中抽取相關(guān)性。
　　我們已經(jīng)在數(shù)據(jù)理解上取得了很大進展。我們已經(jīng)降低了管理大數(shù)據(jù)的開銷，與此同時改進了我們分析和提取關(guān)鍵信息的能力。但是，大數(shù)據(jù)的增量過快以至于我們不能通過更快或者更靈活的查詢以及報告來緊跟步伐。我們需要能夠創(chuàng)建廉價快速的可執(zhí)行認知能力，特別是通過使用認知應(yīng)用。