從技術架構(gòu)的角度去豐富你的大數(shù)據(jù)知識

對于大數(shù)據(jù)的學習，很長一段時間，都覺得非常迷茫。不知道具體該學習什么！進而導致知識的知識點挺多，而自己所會的內(nèi)容都不能夠形成很好的體系，進而為自己的職場加分。而最近一直在學習相關大數(shù)的架構(gòu)知識，進而具體到一個廠商。這樣反而自己學的很快，總結(jié)一下前段時間的學習，溫故而知新!!!

首先，大數(shù)據(jù)開始做為概念開始進入公眾并在實際業(yè)務中落地是在13年。從一項技術的發(fā)展來看，這項技術會在18年形成一個很好的閉環(huán)。而在此期間，不管你是不是大數(shù)據(jù)的項目，在這五年內(nèi)，只要冠以大數(shù)據(jù)名稱都可以獲益。

所以，大數(shù)據(jù)第一件能做的事就忽悠！不管你是不是大數(shù)據(jù)的項目，只要是你懂一點分布式，知道一點Hadoop,Spark。就可以去說我可以承接相關的項目，這是相關冒險的。因為當你不能夠?qū)Υ髷?shù)據(jù)有一個整全的理解，而是靠著在實際工程中不斷的學習進而再去指導并優(yōu)化工作。這樣做無異于事倍功半！所以回歸到題目的方向，就是如何從技術架構(gòu)的解度去豐富你的知識。

1，存儲

大數(shù)據(jù)，顧名思義。就是你的數(shù)據(jù)量很大，傳統(tǒng)的數(shù)據(jù)有EXCEL，TXT，WORD........剛開始這些還可以存儲到硬盤上。但多到一定程度，勢必會影響你開機的速度，這時，就要引入數(shù)據(jù)庫的概念來存儲。而你用數(shù)據(jù)庫來存數(shù)據(jù)時，就又要涉及要你與數(shù)據(jù)庫的對話語言－－SQL語句。

單點，結(jié)構(gòu)化的數(shù)據(jù)完成了以后，你的工作效率得到了很大的提升。相鄰城鎮(zhèn)的人看著這樣不錯的時候，就也開始了相應的部署。但數(shù)據(jù)庫內(nèi)容還是要和總部鏈接的。這樣就形成了我們常說的分布式存儲。

隨著經(jīng)濟的不均衡發(fā)展，各種地區(qū)推出的營銷活動不同。所要存儲用戶的信息也不同。這樣就造成了傳統(tǒng)結(jié)構(gòu)化的存儲效率下降，轉(zhuǎn)而改變?yōu)橛脩魡我籌D+相關行為的非結(jié)構(gòu)化數(shù)據(jù)的存儲。

好了，存完了數(shù)據(jù)，放到那里呢，放在硬盤上的起名叫Hadoop,放在內(nèi)存中的就叫Spark.

2,計算

任何的數(shù)據(jù)都是要參于到運算當中來的，而在運算的過程中是一定要調(diào)用CPU的，而傳統(tǒng)的高帥富的大型機在高性能運算上是有優(yōu)勢的?？稍诖髷?shù)據(jù)如海水一般的涌來時，這些高帥富的大型機就不好起到作用了。

還是老祖宗的智慧過人，分而治之。這是治水的思路，也是解決一個高帥富面對眾多請求時不知所措的茫然。在技術上，用100臺PC或小型機來分而治之所涌來的數(shù)據(jù)。然后再統(tǒng)一匯報解決情況。這個也就是大數(shù)據(jù)里邊常說的那句話：100個窮吊絲相當于一個高富帥！這是第一種計算方案。

那還有一種是什么呢！類似于周伯通的左右互博擊，你想想，你一臺PC可以做的事情，我再加一顆CPU，是不是就相當于模擬出來兩套。而這樣計算的好處是可以將數(shù)據(jù)分類處理，而這一方面，在技術上是通過虛擬化來實現(xiàn)的。

3，可視

講完了前邊的基礎之后，我們就來看看數(shù)據(jù)展現(xiàn)，數(shù)據(jù)的展現(xiàn)有許多種，而這一部人是需要代碼人員有一些藝術細胞的（什么，沒有！那藝術細菌也行）。

畢竟，要將你所計算的結(jié)果呈現(xiàn)現(xiàn)大眾面前。相應的邏輯清楚就一點就顯得非常重要。在這方面，建議多看一些其他人的優(yōu)秀作品。更重要的是你要具備一些心理學的知識，數(shù)據(jù)的突顯及策略的把控。可以說，大數(shù)據(jù)項目的成敗基本上就是在可視的這一塊是否能產(chǎn)生效果了。