什么是大數(shù)據(jù)問題

在我們看來，計(jì)算機(jī)科學(xué)經(jīng)常談的是對資源的管理。最典型的資源就是時(shí)間、空間、能量。數(shù)據(jù)在以前并沒有被認(rèn)為是一種資源，而是被認(rèn)為是一種使用資源的物品。但是，我們看到現(xiàn)在的數(shù)據(jù)已經(jīng)被認(rèn)為是一種資源，這是我們可以利用并從中獲得價(jià)值和知識的一種資源。我們將數(shù)據(jù)資源同我們所用的時(shí)間、空間資源結(jié)合在一起形成一個(gè)系統(tǒng)，從而使我們做出適時(shí)的、節(jié)約成本、高質(zhì)量的決定和結(jié)論，因此我們必須以不同方式進(jìn)行權(quán)衡。但是數(shù)據(jù)資源和時(shí)間、空間資源有很大的不同。如果我給你更多的時(shí)間和空間你會(huì)更開心，但是數(shù)據(jù)卻不是這樣，并不是給你越多的數(shù)據(jù)你就會(huì)越開心。就像是你走進(jìn)一個(gè)公司，問他們你們最大的問題是什么，他們通常會(huì)說最大的問題就是數(shù)據(jù)太多了。目前來看，越來越多的數(shù)據(jù)會(huì)給我們帶來越來越大的麻煩。因此我們必須找到一個(gè)解決這個(gè)問題的辦法，一種是統(tǒng)計(jì)學(xué)的方式，另外一種是計(jì)算的方式。統(tǒng)計(jì)學(xué)方式可能更微妙，所以我們等一下花更多時(shí)間在上面。
    1. 對復(fù)雜性的疑問比數(shù)據(jù)增長的速度更快；
    一些數(shù)據(jù)科學(xué)家他們經(jīng)常談，在一個(gè)數(shù)據(jù)庫的表格中行代表人，而列是對人的特征記錄，基本的數(shù)據(jù)庫可能會(huì)有幾千個(gè)行--意味著有幾千個(gè)人的信息在一個(gè)數(shù)據(jù)庫里，然后你再收集每個(gè)人的基本信息，并不需要太多，比如個(gè)人的年齡、地址、高度、收入，這些數(shù)據(jù)足以讓你了解在這個(gè)數(shù)據(jù)庫中的每一個(gè)人。
    現(xiàn)在我們來考慮數(shù)百萬的“行”,因?yàn)槲覀兇_實(shí)對每個(gè)人的個(gè)性和細(xì)節(jié)十分感興趣。比如說你是在天津居住，你喜歡邁克爾·杰克遜，你喜歡騎自行車，那么你患某種疾病的概率是多少等等，我們在數(shù)據(jù)庫中都有關(guān)于你的信息。所以我們看到有關(guān)人數(shù)的行數(shù)在不斷的增加，同時(shí)描述也更多，那么列數(shù)也在增加。有些我們還可以添加一些列，比如說這個(gè)人昨天吃了什么，他的音樂、讀書的偏好，還有他基因的特點(diǎn)等。但問題是我們不光對個(gè)人的列感興趣，我們對列的集合更感興趣。如果你生活在天津，你喜歡騎自行車，你最喜歡吃的水果是蘋果，這些都是具體的這些列的信息集合。
    現(xiàn)在問題就是我們需要指數(shù)級的列和行增長的組合方式，隨著行數(shù)和列數(shù)的線性增長，我們考慮的數(shù)據(jù)就會(huì)呈指數(shù)倍的增加。我們來舉一個(gè)醫(yī)學(xué)方面的案例，把列設(shè)想成肝病的信息--1是有肝病，0是沒有肝??；但是有一些列所描述的情況能夠很好地預(yù)測肝病的發(fā)生。假設(shè)如果你喜歡在天津，喜歡騎自行車，喜歡吃香蕉，這樣的人就會(huì)得肝病。如果你這個(gè)時(shí)候去看醫(yī)生，醫(yī)生問你住在哪里，你說天津；醫(yī)生問你周末做什么，你說騎自行車；問你最喜歡吃的水果是什么，你說是香蕉，那么醫(yī)生就會(huì)告知你需要檢查一下肝臟。這當(dāng)然是個(gè)假設(shè)。任何指令集里面都需要看這些數(shù)據(jù)，進(jìn)行論證，找到有意義的模式。但當(dāng)數(shù)據(jù)變得越來越大，找到有意義的模式和信息變得越來越難。所以，大數(shù)據(jù)并不是非常好的事情，并不是有更多的數(shù)據(jù)就會(huì)獲得更多的知識。大數(shù)據(jù)其實(shí)才是最大的麻煩。現(xiàn)在來看數(shù)據(jù)越來越難轉(zhuǎn)變成知識，如果我們想要獲得真正有意義的東西，我們需要采取一些行動(dòng)。我們統(tǒng)計(jì)學(xué)家非常擔(dān)心：我們應(yīng)當(dāng)如何消除噪音，真正得到里面所含的知識。統(tǒng)計(jì)學(xué)上的程序和算法，必須運(yùn)行在計(jì)算機(jī)上，.大的數(shù)據(jù)會(huì)花更多的時(shí)間運(yùn)行，使我們不能快速的做決策了。真正有大問題的時(shí)候，我們不知道如何解決和運(yùn)行統(tǒng)計(jì)的程序，做出快速的決策，因此我們發(fā)現(xiàn)了第二個(gè)解決方案。第一個(gè)是統(tǒng)計(jì)學(xué)上，第二個(gè)是計(jì)算方面。
    2.大數(shù)據(jù)會(huì)導(dǎo)致在可接受的時(shí)間范圍內(nèi)復(fù)雜算法不能夠運(yùn)用
    第二個(gè)就是計(jì)算方面，算法需要時(shí)間運(yùn)行，還要登錄、輸出等，需要幾秒鐘的決策，比如在線的拍賣需要幾秒鐘做決策，我們還需要給予一些數(shù)據(jù)，比如說輸出的算法。當(dāng)數(shù)據(jù)變多，這種方法可能會(huì)完成不了，或者是需要很多的運(yùn)行時(shí)間，這是時(shí)我們要怎么做？要把這些數(shù)據(jù)舍棄掉嗎？舍棄的結(jié)果是什么？可能使我的數(shù)據(jù)庫空間增加，如果我不斷地刪除我的數(shù)據(jù)。我應(yīng)當(dāng)讓數(shù)據(jù)運(yùn)行慢一些，但是這樣就會(huì)使處理的時(shí)間過長。我們面臨很大的問題，我們將時(shí)間、空間與數(shù)據(jù)、不斷增長的數(shù)據(jù)規(guī)模結(jié)合在一起，如果沒有很好的處理這些大數(shù)據(jù)的擴(kuò)展算法。這確實(shí)是一個(gè)存在的問題，我認(rèn)為這個(gè)問題是根本且基礎(chǔ)的。