從技術(shù)架構(gòu)的角度去豐富你的大數(shù)據(jù)知識(shí)

對(duì)于大數(shù)據(jù)的學(xué)習(xí)，很長(zhǎng)一段時(shí)間，都覺(jué)得非常迷茫。不知道具體該學(xué)習(xí)什么！進(jìn)而導(dǎo)致知識(shí)的知識(shí)點(diǎn)挺多，而自己所會(huì)的內(nèi)容都不能夠形成很好的體系，進(jìn)而為自己的職場(chǎng)加分。而最近一直在學(xué)習(xí)相關(guān)大數(shù)的架構(gòu)知識(shí)，進(jìn)而具體到一個(gè)廠商。這樣反而自己學(xué)的很快，總結(jié)一下前段時(shí)間的學(xué)習(xí)，溫故而知新!!!

首先，大數(shù)據(jù)開(kāi)始做為概念開(kāi)始進(jìn)入公眾并在實(shí)際業(yè)務(wù)中落地是在13年。從一項(xiàng)技術(shù)的發(fā)展來(lái)看，這項(xiàng)技術(shù)會(huì)在18年形成一個(gè)很好的閉環(huán)。而在此期間，不管你是不是大數(shù)據(jù)的項(xiàng)目，在這五年內(nèi)，只要冠以大數(shù)據(jù)名稱都可以獲益。

所以，大數(shù)據(jù)第一件能做的事就忽悠！不管你是不是大數(shù)據(jù)的項(xiàng)目，只要是你懂一點(diǎn)分布式，知道一點(diǎn)Hadoop,Spark。就可以去說(shuō)我可以承接相關(guān)的項(xiàng)目，這是相關(guān)冒險(xiǎn)的。因?yàn)楫?dāng)你不能夠?qū)Υ髷?shù)據(jù)有一個(gè)整全的理解，而是靠著在實(shí)際工程中不斷的學(xué)習(xí)進(jìn)而再去指導(dǎo)并優(yōu)化工作。這樣做無(wú)異于事倍功半！所以回歸到題目的方向，就是如何從技術(shù)架構(gòu)的解度去豐富你的知識(shí)。

1，存儲(chǔ)

大數(shù)據(jù)，顧名思義。就是你的數(shù)據(jù)量很大，傳統(tǒng)的數(shù)據(jù)有EXCEL，TXT，WORD........剛開(kāi)始這些還可以存儲(chǔ)到硬盤(pán)上。但多到一定程度，勢(shì)必會(huì)影響你開(kāi)機(jī)的速度，這時(shí)，就要引入數(shù)據(jù)庫(kù)的概念來(lái)存儲(chǔ)。而你用數(shù)據(jù)庫(kù)來(lái)存數(shù)據(jù)時(shí)，就又要涉及要你與數(shù)據(jù)庫(kù)的對(duì)話語(yǔ)言－－SQL語(yǔ)句。

單點(diǎn)，結(jié)構(gòu)化的數(shù)據(jù)完成了以后，你的工作效率得到了很大的提升。相鄰城鎮(zhèn)的人看著這樣不錯(cuò)的時(shí)候，就也開(kāi)始了相應(yīng)的部署。但數(shù)據(jù)庫(kù)內(nèi)容還是要和總部鏈接的。這樣就形成了我們常說(shuō)的分布式存儲(chǔ)。

隨著經(jīng)濟(jì)的不均衡發(fā)展，各種地區(qū)推出的營(yíng)銷活動(dòng)不同。所要存儲(chǔ)用戶的信息也不同。這樣就造成了傳統(tǒng)結(jié)構(gòu)化的存儲(chǔ)效率下降，轉(zhuǎn)而改變?yōu)橛脩魡我籌D+相關(guān)行為的非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)。

好了，存完了數(shù)據(jù)，放到那里呢，放在硬盤(pán)上的起名叫Hadoop,放在內(nèi)存中的就叫Spark.

2,計(jì)算

任何的數(shù)據(jù)都是要參于到運(yùn)算當(dāng)中來(lái)的，而在運(yùn)算的過(guò)程中是一定要調(diào)用CPU的，而傳統(tǒng)的高帥富的大型機(jī)在高性能運(yùn)算上是有優(yōu)勢(shì)的?？稍诖髷?shù)據(jù)如海水一般的涌來(lái)時(shí)，這些高帥富的大型機(jī)就不好起到作用了。

還是老祖宗的智慧過(guò)人，分而治之。這是治水的思路，也是解決一個(gè)高帥富面對(duì)眾多請(qǐng)求時(shí)不知所措的茫然。在技術(shù)上，用100臺(tái)PC或小型機(jī)來(lái)分而治之所涌來(lái)的數(shù)據(jù)。然后再統(tǒng)一匯報(bào)解決情況。這個(gè)也就是大數(shù)據(jù)里邊常說(shuō)的那句話：100個(gè)窮吊絲相當(dāng)于一個(gè)高富帥！這是第一種計(jì)算方案。

那還有一種是什么呢！類似于周伯通的左右互博擊，你想想，你一臺(tái)PC可以做的事情，我再加一顆CPU，是不是就相當(dāng)于模擬出來(lái)兩套。而這樣計(jì)算的好處是可以將數(shù)據(jù)分類處理，而這一方面，在技術(shù)上是通過(guò)虛擬化來(lái)實(shí)現(xiàn)的。

3，可視

講完了前邊的基礎(chǔ)之后，我們就來(lái)看看數(shù)據(jù)展現(xiàn)，數(shù)據(jù)的展現(xiàn)有許多種，而這一部人是需要代碼人員有一些藝術(shù)細(xì)胞的（什么，沒(méi)有！那藝術(shù)細(xì)菌也行）。

畢竟，要將你所計(jì)算的結(jié)果呈現(xiàn)現(xiàn)大眾面前。相應(yīng)的邏輯清楚就一點(diǎn)就顯得非常重要。在這方面，建議多看一些其他人的優(yōu)秀作品。更重要的是你要具備一些心理學(xué)的知識(shí)，數(shù)據(jù)的突顯及策略的把控?？梢哉f(shuō)，大數(shù)據(jù)項(xiàng)目的成敗基本上就是在可視的這一塊是否能產(chǎn)生效果了。