大數(shù)據(jù)自下而上：算法和統(tǒng)計(jì)學(xué)完美的結(jié)合

從理論上來(lái)說(shuō)有這樣終極的目標(biāo)：給定一個(gè)可以推理的目標(biāo)，同時(shí)確定固定的計(jì)算時(shí)間，提供由算法和分析支撐的保證，按小時(shí)、分鐘、秒進(jìn)行計(jì)算，推論的質(zhì)量將會(huì)隨著數(shù)據(jù)的精確性而單調(diào)遞增，并且是沒(méi)有邊界的無(wú)線(xiàn)增長(zhǎng)。隨著數(shù)據(jù)無(wú)邊界的增長(zhǎng)，遇到很大的麻煩，我們每一代人都需要面對(duì)。我們想一次解決，有什么樣的辦法可以推理積累的大量數(shù)據(jù)？需要花時(shí)間解決，這可能需要幾十年才能解決。
    我們看一下目前的進(jìn)展。其中一個(gè)就是自下而上的辦法，將算法原理和統(tǒng)計(jì)學(xué)的推論完美地結(jié)合在一起。這些算法原則上來(lái)講，可以放在一個(gè)環(huán)境當(dāng)中，我們選一些分治的方法來(lái)解決。這些難題，我們聚合起來(lái)，聚合的越多，這些錯(cuò)就越少，更好做一些。然后分開(kāi)相互之間相互矛盾的數(shù)據(jù)，包括統(tǒng)計(jì)數(shù)字，還有計(jì)算機(jī)科學(xué)的數(shù)字，可以避免帶來(lái)很大的麻煩。然后再回到我們理論上的問(wèn)題，如何進(jìn)行權(quán)衡，提高我們計(jì)算的效率。
    1.大數(shù)據(jù)引導(dǎo)程序（The bootstrap）
    首先第一個(gè)問(wèn)題，我們叫做大數(shù)據(jù)的引導(dǎo)程序，我們?cè)诓死麕啄昵白鲞^(guò)這樣的工作。這個(gè)引導(dǎo)程序能夠解決一些非常重要的問(wèn)題--評(píng)價(jià)推論的質(zhì)量。很多有學(xué)識(shí)的研究者并不太關(guān)注推論的質(zhì)量。輸入數(shù)據(jù)到一個(gè)盒子里面，然后得到一個(gè)答案，是9.5.但是多數(shù)的決策并不能滿(mǎn)足要求，要知道9.5里面的差錯(cuò)率多大？如果這個(gè)數(shù)字超過(guò)10的話(huà)，就要把肝切掉了，如果是9.5的話(huà)還可以。所以，這是真正的9.5嗎？還存在很大的誤差嗎？或者是沒(méi)有超過(guò)10嗎？如果真正做出真實(shí)的決策時(shí)，是沒(méi)有誤差這個(gè)欄的考慮，但是計(jì)算機(jī)科學(xué)家們需要對(duì)這個(gè)有很深的了解。所以我們要進(jìn)行工作，能夠在數(shù)據(jù)庫(kù)的社區(qū)里面建立一些數(shù)據(jù)庫(kù)，能夠輸入，然后再輸出，同時(shí)有一個(gè)非常清楚明白的誤差欄。
    現(xiàn)在讓我們進(jìn)入到另外一個(gè)領(lǐng)域，進(jìn)入到統(tǒng)計(jì)學(xué)里面怎么樣呢？很有意思的一點(diǎn)就是在非常簡(jiǎn)單的事情上，我們抽樣，根據(jù)有相關(guān)的公式，可以通過(guò)這樣的途徑進(jìn)行了解。比如說(shuō)我們根據(jù)抽樣里面的差異性，加上知道差錯(cuò)率，如果不講差錯(cuò)率，有一個(gè)中等的情況，比如說(shuō)10.2,那這個(gè)誤差是多少呢？并沒(méi)有這樣的公式在里面。我們?cè)趺粗酪话闱闆r中存在的差異性？我們有一個(gè)通常叫做的程序框架，能夠應(yīng)對(duì)快速擴(kuò)展的大數(shù)據(jù)，并且計(jì)算誤差率。
    到底推斷的質(zhì)量如何？我們觀(guān)察的數(shù)據(jù)包括機(jī)器的誤差率和基于數(shù)據(jù)進(jìn)行參數(shù)的預(yù)測(cè)。我們叫做形成一種參數(shù)的預(yù)估值。就像一條程序、一個(gè)黑匣子，到底有多少的誤差在里面，這是我們所關(guān)注的。通過(guò)對(duì)程序進(jìn)行計(jì)算，了解數(shù)據(jù)指標(biāo)情況，如果想做一個(gè)理想的統(tǒng)計(jì)學(xué)家的話(huà)，還要對(duì)它進(jìn)行科學(xué)的定義。
    所謂的頻率主義者，每一個(gè)數(shù)據(jù)都會(huì)要計(jì)算中間的情況，還有一些預(yù)估估算，不同的數(shù)據(jù)級(jí)進(jìn)行浮動(dòng)，你看浮動(dòng)的范圍就帶來(lái)這種所謂的誤差率。從這個(gè)定義來(lái)說(shuō)，這個(gè)誤差率是什么，誤差率就是指你還需要更多的時(shí)間分析這些數(shù)據(jù)。如果你沒(méi)有大量的數(shù)據(jù)，你不能夠?qū)@些數(shù)據(jù)進(jìn)行一次又一次的檢驗(yàn)，并同時(shí)看他們之間的浮動(dòng)。如果沒(méi)有一個(gè)數(shù)據(jù)集的話(huà)，就可以一次性去做，看看生成的情況，我們只有一個(gè)數(shù)據(jù)集。
    我們?cè)O(shè)想一下，如何分析這些問(wèn)題，解決這些問(wèn)題，即使只有一個(gè)數(shù)據(jù)集。這些數(shù)據(jù)來(lái)自什么地方，有這樣的一些群體，比如說(shuō)在我們這里生成一些數(shù)據(jù)，有一個(gè)曲線(xiàn)可以反映出相關(guān)的群體。如果是一個(gè)一般不存在的東西，上面有一個(gè)幻燈片，可以形成一個(gè)數(shù)據(jù)集，兩個(gè)數(shù)據(jù)集，對(duì)每個(gè)數(shù)據(jù)集進(jìn)行計(jì)算，你所在意的都是一些數(shù)據(jù)的預(yù)測(cè)，然后得到一個(gè)公式?？梢宰鲇?jì)算機(jī)的并擊處理，生成一個(gè)數(shù)據(jù)的處理，每一個(gè)計(jì)算機(jī)可以進(jìn)入一個(gè)預(yù)估值，然后可以在估算當(dāng)中產(chǎn)生一些誤差。然后這個(gè)里面我們沒(méi)有多個(gè)數(shù)據(jù)級(jí)，我們不能這樣去做。我們觀(guān)察有一個(gè)數(shù)據(jù)來(lái)自這樣的群體，然后這些數(shù)據(jù)不是列出來(lái)的數(shù)據(jù)，這些數(shù)據(jù)的分布圖是分布式，可以生成越來(lái)越多的數(shù)據(jù)。這種分布盡管不可以換，但是你可以從中抽樣。我們叫做近似值，基本上是真實(shí)的。[page]
    所以說(shuō)，這是非常微妙、深層的理念，拿過(guò)一個(gè)數(shù)據(jù)級(jí)生成多個(gè)數(shù)據(jù)級(jí)，這個(gè)叫做引導(dǎo)程序。1979年的時(shí)候拿到的一個(gè)大獎(jiǎng)，這里其實(shí)是非常簡(jiǎn)單的理念。盡管1979年還沒(méi)有云的語(yǔ)言等，也是可以這樣做。你可以用于任何的查詢(xún)上，為什么不把所有的數(shù)據(jù)庫(kù)從云上取樣，聽(tīng)起來(lái)是非常好的理念。但是，這可以在我們計(jì)算機(jī)科學(xué)里面有更加好的應(yīng)用。我們的一些數(shù)據(jù)在服務(wù)器上已經(jīng)分布了，如果重新抽樣，數(shù)據(jù)級(jí)拿過(guò)來(lái)，從里面進(jìn)行抽樣，得先返回去，再回到這個(gè)地方。意味著什么呢？從這個(gè)上面進(jìn)行取樣，講的更清楚一些，就是基于終端的數(shù)據(jù)，這是一個(gè)分布式的，可以從任何一側(cè)進(jìn)行取樣。比如說(shuō)從一天當(dāng)中這個(gè)數(shù)據(jù)發(fā)生的時(shí)間當(dāng)中取樣，同樣一個(gè)大的數(shù)據(jù)級(jí)可以做一次，然后反復(fù)的做，這又意味著什么？如果這樣取樣的話(huà)，從其中一個(gè)點(diǎn)上分布，可以得到其中一個(gè)點(diǎn)，然后按比例的高度劃分，我得到這一點(diǎn)，再次做一下，可以獲得同樣的點(diǎn)。做N次，在某些點(diǎn)上可以得到很多次。這跟我們?nèi)雍吞娲粯樱岩粋€(gè)樣品拿過(guò)來(lái)然后再返回去，反復(fù)地做。
    我們經(jīng)常描述，把最初的數(shù)據(jù)拿過(guò)來(lái)重新取樣，然后做很多次，就是所謂的引導(dǎo)程序。數(shù)據(jù)點(diǎn)上有替代，可以做數(shù)學(xué)計(jì)算，0.632次，如果有這個(gè)取樣的話(huà)，就有632個(gè)。不能做這么大，這是我們主要的程序，在隨意的預(yù)估上，可以達(dá)到引導(dǎo)程序，已經(jīng)超越一些小數(shù)據(jù)了，這是可能會(huì)帶來(lái)的一些問(wèn)題。
    2.二次抽樣（Subsampling）
    還有另外一個(gè)方面，就是統(tǒng)計(jì)學(xué)家們做的。他們需要有競(jìng)爭(zhēng)力，出現(xiàn)另外一個(gè)程序的話(huà)，它也可以來(lái)解決，叫做二次取樣。二次取樣跟以前一樣，進(jìn)行一個(gè)取樣，在這個(gè)里面可能太大了，我們用一個(gè)子抽樣，或者再次的抽樣，進(jìn)行一個(gè)劃分。我們很快的到預(yù)估值上，在這個(gè)B點(diǎn)上得到9.5的數(shù)字，我可以再次去做，把B點(diǎn)從N點(diǎn)里面取出來(lái)，可以做很多次。我們可以有多少的估算值，還有這樣的浮動(dòng)，聽(tīng)起來(lái)很好，一個(gè)數(shù)據(jù)級(jí)，我得到各種估算值，問(wèn)題就是是否正確。因?yàn)锽點(diǎn)，預(yù)算值大小取決于N點(diǎn)的數(shù)量，這個(gè)取樣是來(lái)了解這些誤差。我們可以有這樣的浮動(dòng)，規(guī)模不一樣的，尺寸大小不一樣，錯(cuò)就錯(cuò)了。所以不能進(jìn)行二次抽樣估算得到答案，這個(gè)答案是錯(cuò)誤的。
    這里關(guān)鍵問(wèn)題產(chǎn)生了，這個(gè)比例是錯(cuò)了，這個(gè)值太大了，因?yàn)檫@個(gè)數(shù)據(jù)級(jí)太小了。我們重新設(shè)定他們的尺寸，這樣一個(gè)比例怎么進(jìn)行設(shè)置？一般不知道怎么做。對(duì)于像一個(gè)黑匣子一樣，在數(shù)據(jù)庫(kù)里面放一些東西，用戶(hù)定義的功能，就不知道它的尺寸多大，然后還有一定數(shù)量的數(shù)據(jù)點(diǎn)等，這也是一個(gè)問(wèn)題，你必須要從理論上針對(duì)每一個(gè)黑匣子去做。更加嚴(yán)重的問(wèn)題是，如果在現(xiàn)實(shí)中使用的話(huà)，如果是工程上的默認(rèn)，這里有一個(gè)例子，50000個(gè)合成數(shù)字，我們還有一些計(jì)算，我們用合成的方法做，知道真正的Airbas是什么，這是我們做的結(jié)果。再?gòu)?qiáng)調(diào)一點(diǎn)，這里并沒(méi)有任何二次的抽樣，只需要1.5次的工作，就可以進(jìn)行取樣。
    這里誤差有一個(gè)核算，我們有合成的數(shù)據(jù)。X軸上看到的時(shí)間，運(yùn)行的是二次取樣，不同的取向，還有y軸上，你可以看到0.5在這個(gè)上面，這個(gè)誤差是很壞的，這個(gè)藍(lán)色的點(diǎn)是一個(gè)藍(lán)色的程序，這是Bootstrap的對(duì)象，可以很快的穩(wěn)定走下來(lái)。我們可以來(lái)把這個(gè)誤差變成0,然后我們可以進(jìn)行平均，在這個(gè)上面，并不是要達(dá)到Bootstrap,在合理的范圍內(nèi)，我們達(dá)到6,這個(gè)還是有問(wèn)題的，然后在7、6.8,然后在綠色的線(xiàn)下面，他們更有效的使用我們的引導(dǎo)程序，引導(dǎo)程序的效率是很高的。它也是有一個(gè)N的融合。這個(gè)B是一個(gè)最中心的限制，我們感到很驚訝，就是在80年代論證的時(shí)候。
    對(duì)于這些我可以看到非常好的結(jié)果，現(xiàn)在的0.9是這個(gè)淺綠色又出現(xiàn)問(wèn)題了，它還重復(fù)出現(xiàn)，但是這個(gè)值我們還不知道，我們知道這是真實(shí)的地方，正確的價(jià)值，但是現(xiàn)實(shí)當(dāng)中我們是無(wú)法知道的。工程師的一些方法有的時(shí)候是做不到的。[page]
    3.新流程的小“自助包”（Bag of little bootstraps）
    我們還有另外一個(gè)理念“小自助包”,我將會(huì)討論新的步驟結(jié)合引導(dǎo)程序和二次抽樣，并且運(yùn)用他們最好的部分。同小部分的數(shù)據(jù)一起，比如說(shuō)二次抽樣和同樣適合分布式計(jì)算平臺(tái)。但是，與引導(dǎo)程序相同，它并不需要分析的部分，所以想到一些理念，我們的Bootstraps運(yùn)行40多年了，統(tǒng)計(jì)學(xué)家不會(huì)有任何的程序上的擔(dān)心。
    再回到這個(gè)圖片，我們還有真實(shí)性，還有數(shù)據(jù)級(jí)，還有一個(gè)Size B,進(jìn)行重新的取樣?，F(xiàn)在我們注意到這個(gè)Size B的數(shù)據(jù)是來(lái)自于周?chē)囊粋€(gè)步驟，他們還是間接的來(lái)自下面一個(gè)真實(shí)的情況。我們繼續(xù)看我們的子集，圖片看上去不太好，現(xiàn)在的N不是10,想一下預(yù)估值和估算值也是非常好的近似值。然后不要考慮這是否是真實(shí)的，你現(xiàn)在面臨這樣的世界，你是一個(gè)大家伙，這是你真實(shí)的情況。你可以進(jìn)行抽樣，基于我們的B點(diǎn)，它是一種分布，你可以來(lái)去抽樣，按你所需要的次數(shù)，多少次都可以，只要能想到的。你把這個(gè)對(duì)象拿過(guò)來(lái)，然后你可以及時(shí)的進(jìn)行抽樣，現(xiàn)在在正確的比例值上，有合適的數(shù)據(jù)級(jí)是需要的。其中很多點(diǎn)會(huì)重復(fù)很多次。
    然后我們多次的對(duì)它進(jìn)行取樣，在某些點(diǎn)可能完全不做，然后我們有B點(diǎn)，覺(jué)得它非常小，我們覺(jué)得它是分布式的。我們有一個(gè)非常好的叫做B取樣的分子級(jí)，我不想去分析它，盡管這是一個(gè)本地的網(wǎng)絡(luò)，但是也不會(huì)把它分散。所以每一個(gè)B點(diǎn)會(huì)多少次被二次取樣，這些數(shù)據(jù)在什么地方，我們可以把這個(gè)放在原來(lái)的基礎(chǔ)上，我們可以做多次的事情，再做引導(dǎo)程序，這樣的話(huà)，我們把子取樣進(jìn)行引導(dǎo)，有一張圖作為我的總結(jié)。
    這個(gè)流程比較復(fù)雜，你把B取樣的一個(gè)子樣，然后放在一個(gè)數(shù)據(jù)級(jí)上，然后又替代一段時(shí)間內(nèi)，你獲得的值，因此上面是一個(gè)處理器，它有一個(gè)引導(dǎo)程序，我們?yōu)槭裁床挥靡粋€(gè)框進(jìn)行解決問(wèn)題呢？他是一個(gè)比較小的取樣，它是正確的，但是有很多的噪音，我們必須要平均。所以必須需要多個(gè)框，可能需要200個(gè)處理器都執(zhí)行同樣的一個(gè)計(jì)算的流程。那么，他們可能都會(huì)有一個(gè)平均的錯(cuò)誤率。
    這是有效的，首先回到一個(gè)TB的問(wèn)題，N=N的6次方，比如說(shuō)我們子樣數(shù)據(jù)級(jí)的大小是4GB,而再次取樣的數(shù)據(jù)級(jí)別也是4GB,那么這張圖和剛才那張圖是一樣的。就是在一個(gè)數(shù)據(jù)集上，加大計(jì)算機(jī)的利用率。如果在真正的分布式的計(jì)算環(huán)境里面做，我想應(yīng)該是0.5TB,會(huì)在一個(gè)大的數(shù)據(jù)庫(kù)里會(huì)發(fā)生什么呢？我們看一下引導(dǎo)程序，不可能進(jìn)行并行化，我們使用并行計(jì)算，通過(guò)機(jī)器學(xué)習(xí)，做第一個(gè)再取樣，再做一次，然后再并行計(jì)算的計(jì)算機(jī)上進(jìn)行Bootstraps計(jì)算，大概15000秒的時(shí)間獲得一個(gè)合理的答案，對(duì)于應(yīng)用來(lái)說(shuō)稍微有一點(diǎn)慢了。所以我們現(xiàn)在怎么做？我們有一個(gè)算法。對(duì)于0.5TB的數(shù)據(jù)，放到所有本地的200個(gè)處理器上，也就是說(shuō)這個(gè)紅點(diǎn)的位置，然后再取樣，再做引導(dǎo)程序。我以前在機(jī)器學(xué)習(xí)方面，我不可能有這樣的圖做出來(lái)，只是20%、30%的完善。這卻改變了并行計(jì)算的方式，我們可以進(jìn)行非常大型的一種引導(dǎo)程序，我們現(xiàn)在可以在數(shù)據(jù)庫(kù)中做，我們正在開(kāi)發(fā)關(guān)系型的數(shù)據(jù)庫(kù)當(dāng)中。