再談大數(shù)據(jù)行業(yè)里的兩大誤區(qū)
大數(shù)據(jù)這個詞，恐怕是近兩年IT界炒的最熱的詞匯之一了，各種論壇、會議，言必談大數(shù)據(jù)，“大數(shù)據(jù)”這個詞，在IT界已經(jīng)成了某果一樣的“街機(jī)”或者叫“街詞”，不跟風(fēng)說兩句“大數(shù)據(jù)長，大數(shù)據(jù)短”都不好意思跟人說自己是搞IT的。從某種程度來講，大數(shù)據(jù)這個“圈”太亂了，一點(diǎn)不比“貴圈”好。
先從概念上來說，大數(shù)據(jù)是什么？其實(shí)數(shù)據(jù)處理從人類誕生時期就有了，古人結(jié)繩記事就是基本的統(tǒng)計(jì)，統(tǒng)計(jì)自己吃了幾頓飯打了幾次獵等等；再往近說，皇帝每晚翻嬪妃的牌子也是數(shù)據(jù)處理，在翻牌子之前，要從一大堆牌子里分析“方便”、“熱度高”、“新鮮度”等指標(biāo)；更近的說，數(shù)據(jù)倉庫早在大數(shù)據(jù)這個詞出現(xiàn)前就已經(jīng)成熟發(fā)展了好幾十年了。所以說，大數(shù)據(jù)并不新鮮，只是某些技術(shù)如Hadoop、MR、Storm、Spark發(fā)展到一定階段，順應(yīng)這些技術(shù)炒出來的概念，但是這些概念都基于一個基本的理念“開源”，這個理念是之前任何階段都沒有過，可以節(jié)省費(fèi)用提高效率，所以大家才都往這個行業(yè)里扔火柴（話說現(xiàn)在很多人跟風(fēng)亂吵，個人認(rèn)為也不是壞事）。
誤區(qū)一：只有搞大數(shù)據(jù)技術(shù)開發(fā)的，才是真正“圈內(nèi)人”。
筆者曾經(jīng)參加過若干會議，70%是偏技術(shù)的，在場的都是國內(nèi)各個數(shù)據(jù)相關(guān)項(xiàng)目經(jīng)理和技術(shù)帶頭人，大家討論的話題都是在升級CDH版本的時候有什么問題，在處理Hive作業(yè)的時候哪種方式更好，在Storm、Kafka匹配時如何效率更高，在Spark應(yīng)用時內(nèi)存如何釋放這些問題。參會者都一個態(tài)度：不懂大數(shù)據(jù)技術(shù)的人沒資格評論大數(shù)據(jù)，您要不懂Hadoop 2.0中的資源配置，不懂Spark在內(nèi)存的駐留時間調(diào)優(yōu)，不懂Kafka采集就別參加這個會！對了，最近Google完全拋棄MR只用Dataflow了，您懂嗎？不懂滾粗！
在這里我想說，技術(shù)的進(jìn)步都是由業(yè)務(wù)驅(qū)動的，某寶去了IOE才能叫大數(shù)據(jù)嗎，我作為一個聾啞人按摩師用結(jié)繩記事完成了對于不同體型的人，用什么按摩手法進(jìn)行全流程治療，就不叫大數(shù)據(jù)分析了嗎？技術(shù)發(fā)展到什么程度，只有一小部分是由科學(xué)家追求極致的精神驅(qū)動，大部分原因是因?yàn)闃I(yè)務(wù)發(fā)展到一定程度，要求技術(shù)必須做出進(jìn)步才能達(dá)成目標(biāo)的。
所以，真正的大數(shù)據(jù)“圈內(nèi)人”至少要包含以下幾種人：
一、業(yè)務(wù)運(yùn)營人員。比如互聯(lián)網(wǎng)的產(chǎn)品經(jīng)理要求技術(shù)人員，必須在用戶到達(dá)網(wǎng)站的時候就算出他今天的心情指數(shù)，而且要實(shí)現(xiàn)動態(tài)監(jiān)測，這時候只能用Storm或者Spark來處理了；比如電信運(yùn)營商要求做到實(shí)時營銷，用戶進(jìn)入營業(yè)廳的時候，必須馬上推送短信給用戶，提示他本營業(yè)廳有一個特別適合他的相親對象（呈現(xiàn)身高、三圍、體重等指標(biāo)），但是見面前要先購買4G手機(jī)；再比如病人來到銀行開戶，銀行了解到用戶最近1周曾經(jīng)去醫(yī)院門診過兩次，出國旅游過3次，帶孩子游泳兩次，馬上客戶經(jīng)理就給客戶推薦相關(guān)的銀行保險+理財(cái)產(chǎn)品。這些業(yè)務(wù)人員，往往是驅(qū)動技術(shù)進(jìn)步的核心原因。
二、架構(gòu)師。架構(gòu)師有多么重要，當(dāng)一個業(yè)務(wù)人員和一個工程師，一個說著業(yè)務(wù)語言，一個說著技術(shù)術(shù)語在那里討論問題的時候，工程師往往想著用什么樣的代碼能馬上讓他閉嘴，而架構(gòu)師往往會跳出來說“不，不能那樣，你這樣寫只能解決一個問題并且會制造后續(xù)的若干問題，按照我這個方案來，可以解決后續(xù)的若干問題！”一個非技術(shù)企業(yè)的IT系統(tǒng)水平，往往有70%以上的標(biāo)準(zhǔn)掌握在架構(gòu)設(shè)計(jì)人員手里，盡快很多優(yōu)秀的架構(gòu)師都是從工程師慢慢發(fā)展學(xué)習(xí)而來的，IT架構(gòu)的重要性，很多企業(yè)都意識到了，這就是很多企業(yè)有CTO和CIO兩個職位，同樣重要！架構(gòu)之美，當(dāng)IT系統(tǒng)平穩(wěn)運(yùn)行的時候沒人能感受到，但是在一個煙囪林立、架構(gòu)混亂的環(huán)境中走過的人眼中，IT開發(fā)一定要架構(gòu)現(xiàn)行，開發(fā)在后！
三、投資人。老板，不用說了，老板給你吃穿，你給老板賣命，天生的基礎(chǔ)資料提供者，老板說要有山便有了山，老板說要做實(shí)時數(shù)據(jù)處理分析，便有了Storm，老板說要做開源，便有了Hadoop，老板還說要做迭代挖掘，便有了Spark……
四、科學(xué)家。他們是別人眼中的Geek，他們是別人眼中的高大上，他們是類似于霍金一樣的神秘的早出晚歸晝伏夜出的眼睛男女，他們是驅(qū)動世界技術(shù)進(jìn)步的核心力量。除了世界頂級的IT公司（往往世界技術(shù)方向掌握在他們手中），其他公司一般需要1-2個科學(xué)家足以，他們是真正投身于科學(xué)的人，不要讓他們?nèi)タ紤]業(yè)務(wù)場景，不要讓他們?nèi)タ紤]業(yè)務(wù)流程，不要讓他們?nèi)ビ?jì)算成本，不要讓他們?nèi)タ紤]項(xiàng)目進(jìn)度，他們唯一需要考慮的就是如何在某個指標(biāo)上擊敗對手，在某個指標(biāo)上提高0.1%已經(jīng)讓他們可以連續(xù)奮戰(zhàn)，不眠不休，讓我們都為這些科學(xué)家喝彩和歡呼吧。在中國，我認(rèn)為真正的大數(shù)據(jù)科學(xué)家不超過百人……
五、工程師。工程師是這樣一群可愛的人，他們年輕，沖動，有理想，又被人尊稱為“屌絲”“鍵盤黨”，他們孜孜不倦的為自己的理想而拼搏，每次自己取得一點(diǎn)點(diǎn)進(jìn)步的時候，都在考慮是不是地鐵口的雞蛋灌餅又漲了五毛錢。他們敏感，自負(fù)，從來不屑于和業(yè)務(wù)人員去爭論。工程師和科學(xué)家的不同點(diǎn)在于，工程師需要頻繁改動代碼，頻繁測試程序，頻繁上線，但是最后的系統(tǒng)是由若干工程師的代碼組合起來的。每個自負(fù)的工程師看到系統(tǒng)的歷史代碼都會鄙視的發(fā)出一聲“哼，這垃圾代碼”，之后便投入到被后人繼續(xù)鄙視的代碼編寫工作中去。
六、跟風(fēng)者。他們中有些是培訓(xùn)師，有些是殺馬特洗剪吹，有些是煤老板有些是失足少女。他們的特點(diǎn)就是炒，和炒房者唯一不同的就是，他們不用付出金錢，他們認(rèn)為只要和數(shù)據(jù)沾邊就叫大數(shù)據(jù)，他們有些人甚至從來沒碰過IT系統(tǒng)，他們是渾水摸魚、濫竽充數(shù)的高手，他們是被前幾種人鄙視的隱形人。不過我想說，歡迎來炒，一個行業(yè)炒的越兇，真正有價值的人就更能發(fā)揮自己的作用。
誤區(qū)二：只有大數(shù)據(jù)才能拯救世界
大數(shù)據(jù)目前的技術(shù)和應(yīng)用都是在數(shù)據(jù)分析、數(shù)據(jù)倉庫等方面，主要針對OLAP（Online Analytical System），從技術(shù)角度來說，包含我總結(jié)的兩條腿：一條腿是批量數(shù)據(jù)處理（包括MR、MPP等），另一條腿實(shí)時數(shù)據(jù)流處理（Storm、內(nèi)存數(shù)據(jù)庫等）。在此基礎(chǔ)上，部分場景又發(fā)現(xiàn)MR框架或?qū)崟r框架不能很好的滿足近線、迭代的挖掘需要，故又產(chǎn)生了目前非?；鸬幕趦?nèi)存數(shù)據(jù)處理Spark框架。很多企業(yè)目前的大數(shù)據(jù)框架是，一方面以Hadoop 2.0之上的Hive、Pig框架處理底層的數(shù)據(jù)加工和處理，把按照業(yè)務(wù)邏輯處理完的數(shù)據(jù)直接送入到應(yīng)用數(shù)據(jù)庫中；另一方面以Storm流處理引擎處理實(shí)時的數(shù)據(jù)，根據(jù)業(yè)務(wù)營銷的規(guī)則觸發(fā)相應(yīng)的營銷場景。同時，用基于Spark處理技術(shù)集群滿足對于實(shí)時數(shù)據(jù)加工、挖掘的需求。
以上描述可以看出，大數(shù)據(jù)說白了就是還沒有進(jìn)入真正的交易系統(tǒng)，沒有在OLTP（Online Transaction system）方面做出太大的貢獻(xiàn)。至于很多文章把大數(shù)據(jù)和物聯(lián)網(wǎng)、泛在網(wǎng)、智慧城市都聯(lián)系在一起，我認(rèn)為大數(shù)據(jù)不過是條件之一，其余的OLTP系統(tǒng)是否具備，物理網(wǎng)絡(luò)甚至組織架構(gòu)都是重要因素。
最后還想說，大數(shù)據(jù)處理技術(shù)，再炫如Google的Dataflow或成熟如Hadoop 2.0、數(shù)據(jù)倉庫、Storm等，本質(zhì)上都是數(shù)據(jù)加工工具，對于很多工程師來說，只需要把數(shù)據(jù)處理流程搞清楚就可以了，在這個平臺上可以用固定的模版和腳本進(jìn)行數(shù)據(jù)加工已經(jīng)足夠。畢竟數(shù)據(jù)的價值70%以上是對業(yè)務(wù)應(yīng)用而言的，一個炫詞對于業(yè)務(wù)如果沒有幫助，終將只是屠龍之術(shù)。任何技術(shù)、IT架構(gòu)都要符合業(yè)務(wù)規(guī)劃、符合業(yè)務(wù)發(fā)展的要求，否則技術(shù)只會妨礙業(yè)務(wù)和生產(chǎn)力的發(fā)展。
隨著時代變遷，大浪淘沙，作為數(shù)據(jù)行業(yè)的一員，我們每個人都在不同的角色之間轉(zhuǎn)換，今天你可能是科學(xué)家，明天就會變成架構(gòu)師，今天的工程師也會變成幾年后的科學(xué)家，部分人還終將步入跟風(fēng)者的行列。
誤區(qū)三：數(shù)據(jù)量特別大才叫大數(shù)據(jù)
在“數(shù)據(jù)界”存在這樣有一波人，他們認(rèn)為“只有Peta級以上的才叫大數(shù)據(jù)，甚至到了Zeta以上才叫大數(shù)據(jù)，目前還沒有到真正的大數(shù)據(jù)時代！”，每次聽到這樣的話，我就知道這些人受IOE某巨頭的4V理論中的“容量”影響太巨大了。對此，我想說的第一句話是“盡信書不如無書，盡信巨頭不如去IOE”，去IOE不只是要從硬件做起，還要從思想上敢于挑戰(zhàn)巨頭做起，盡管很多IT界的經(jīng)典理論都是傳統(tǒng)巨頭提出的，但是隨著挑戰(zhàn)者的出現(xiàn)，萌發(fā)了新的思想和技術(shù)后，傳統(tǒng)巨頭會被慢慢顛覆，這也是我們?nèi)祟惽斑M(jìn)向前的一個重要因素。如果我們還停留在迷信巨頭的時代，如此刻板教條的去追求一個概念，那么就不會有現(xiàn)在的Hadoop，不會有現(xiàn)在的Spark，不會有現(xiàn)在的特斯拉，不會有機(jī)器學(xué)習(xí)人工智能，更不會有未來的第N次工業(yè)革命。
首先我想強(qiáng)調(diào)，大數(shù)據(jù)技術(shù)真的不是一個新鮮詞，在之前的文章中我已經(jīng)說過，大數(shù)據(jù)的本質(zhì)還是數(shù)據(jù)，數(shù)據(jù)這個行業(yè)已經(jīng)發(fā)展了若干年，而數(shù)據(jù)量的規(guī)模永遠(yuǎn)是超出該時代的想象的，比如十幾年前，一張軟盤的數(shù)據(jù)量也就1.44M，當(dāng)時的數(shù)據(jù)如果達(dá)到1T都讓旁人咂舌。那么按數(shù)據(jù)量的標(biāo)準(zhǔn)，當(dāng)時如果有人收集了1T數(shù)據(jù)就已經(jīng)進(jìn)入大數(shù)據(jù)時代了嗎？顯然不是！所以我想說，數(shù)據(jù)量的大小并不是衡量大數(shù)據(jù)的標(biāo)準(zhǔn)，如果按數(shù)據(jù)量去判斷是否大數(shù)據(jù)的話，那么“大數(shù)據(jù)”這個詞真的是一個偽命題，就如同“老虎比如是老的，小伙必須是小的，巨頭必須是腦袋大的，飛人必須是長翅膀的”這種純粹字面意思去定義的話題一樣。
那么再回過來說，大數(shù)據(jù)的概念是什么？首先，大數(shù)據(jù)是一個完整的生態(tài)體系，從數(shù)據(jù)的產(chǎn)生、采集、加工、匯總、展現(xiàn)、挖掘、推送等方面形成了一個閉環(huán)的價值鏈，并且通過每個環(huán)節(jié)的多種技術(shù)處理后，為所在業(yè)務(wù)場景提供有價值的應(yīng)用和服務(wù)。其次，大數(shù)據(jù)的核心是什么？一方面是開源，一方面是節(jié)流，目前大數(shù)據(jù)技術(shù)的核心目標(biāo)都是通過低成本的技術(shù)更好的滿足對數(shù)據(jù)的需求（尤其是處理近年來更多的非結(jié)構(gòu)化數(shù)據(jù)），并在在滿足需求的基礎(chǔ)上盡可能多的為企業(yè)節(jié)省投資。說一千道一萬，大數(shù)據(jù)的核心理念還是滿足應(yīng)用需求，有明確目標(biāo)的技術(shù)叫生產(chǎn)力，沒有業(yè)務(wù)目標(biāo)的技術(shù)叫“浪費(fèi)生命力”。
誤區(qū)四：為了大數(shù)據(jù)而大數(shù)據(jù)
這個誤區(qū)我認(rèn)為是目前最嚴(yán)重的。在部分企業(yè)中，追求技術(shù)一定要最新、最好、最炫，一定要拿到國際先進(jìn)、世界一流才行。所有的企業(yè)，不分行業(yè)不分性質(zhì)不分地域不分年代，一律高喊“趕超BAT，大數(shù)據(jù)助力**企業(yè)達(dá)到**目標(biāo)”，接下來就是先去IOE，然后投資買集群，把之前的各種高性能小型機(jī)大型機(jī)都不用了，之前買的O記授權(quán)全部停了，之前的幾十年投資一夜之間作廢，又投入了更多的資源去追趕“大數(shù)據(jù)”。
同學(xué)們，這種勞民傷財(cái)?shù)氖虑橄嘈糯蠹颐刻於紩牭交蛘哂H眼看到，很多企業(yè)不計(jì)成本就是為了博領(lǐng)導(dǎo)一笑，這得是多么大的誤區(qū)啊。對此我想說：
第一，從技術(shù)上來說，比如BAT或者很多互聯(lián)網(wǎng)企業(yè)去追求大數(shù)據(jù)，是因?yàn)闃I(yè)務(wù)發(fā)展的需要。任何一個互聯(lián)網(wǎng)企業(yè)一出生就是為了流量和點(diǎn)擊而活著，這就意味這大量的非結(jié)構(gòu)化數(shù)據(jù)需要進(jìn)行快速處理，這時候就決定了互聯(lián)網(wǎng)企業(yè)只能通過一些并發(fā)手段去分解底層的數(shù)據(jù)，然后進(jìn)行快速加工，并滿足其服務(wù)用戶和市場的需要?；ヂ?lián)網(wǎng)企業(yè)的業(yè)務(wù)流程和業(yè)務(wù)模型就決定了必須得采用大數(shù)據(jù)技術(shù)。反之，很多企業(yè)根本用不著這些技術(shù)，有些企業(yè)簡單的一兩個Excel文件里面做幾個公式就可以滿足它的發(fā)展，而且數(shù)據(jù)的周期還是按月處理的，根本不需要運(yùn)用這些技術(shù)。
第二，從投資上來說，互聯(lián)網(wǎng)企業(yè)出生都是平民，根本買不起大型設(shè)備，就算一夜暴富后，也沒有一個傳統(tǒng)的小型機(jī)大型機(jī)可以更好的滿足它們的發(fā)展，故只能另辟蹊徑創(chuàng)造價值鏈和標(biāo)準(zhǔn)了，在之前的低投資、輕量級架構(gòu)上，不斷進(jìn)行小量的線性硬件投資滿足業(yè)務(wù)的發(fā)展。反倒是一些傳統(tǒng)企業(yè)，甚至是巨無霸，其投資計(jì)劃已經(jīng)在一年前明確，而且在原來的基礎(chǔ)上投資會更有ROI（投資回報(bào)率），現(xiàn)在反倒為了追求大數(shù)據(jù)的口號，犧牲了之前的大量投資，除了“得不償失”，剩下的只能是滿地的節(jié)操了。
大數(shù)據(jù)技術(shù)甚至任何一種技術(shù)都是為了滿足特定的業(yè)務(wù)目標(biāo)而生的，在具備了明確的業(yè)務(wù)目的后，順勢設(shè)計(jì)符合自身業(yè)務(wù)架構(gòu)的技術(shù)架構(gòu)，才是一種科學(xué)的健康的發(fā)展觀。如果您是一位老板、CEO或者投資人，千萬要明白，大數(shù)據(jù)技術(shù)對于企業(yè)來說，有時候像水，而企業(yè)的業(yè)務(wù)目標(biāo)就是那艘船，“水能載舟，亦能覆舟”。
隨著生產(chǎn)關(guān)系的不斷調(diào)整，又會出現(xiàn)若干輪生產(chǎn)力的不斷進(jìn)步，大數(shù)據(jù)之后的技術(shù)也會日新月異的進(jìn)步著，比如現(xiàn)在開始潮流涌現(xiàn)的“機(jī)器學(xué)習(xí)、深度學(xué)習(xí)”等諸多的人工智能方面的技術(shù)，也出現(xiàn)了比如“小數(shù)據(jù)”、“微數(shù)據(jù)”等更細(xì)方向技術(shù)的細(xì)分，在技術(shù)的洪流到來時，只要保持清晰的以滿足業(yè)務(wù)為導(dǎo)向的頭腦，根據(jù)自身的業(yè)務(wù)需要設(shè)計(jì)自身的技術(shù)架構(gòu)，就不會被各種流派，各種概念淹沒。
CDA數(shù)據(jù)分析師考試相關(guān)入口一覽（建議收藏）：
? 想報(bào)名CDA認(rèn)證考試，點(diǎn)擊>>>
“CDA報(bào)名”
了解CDA考試詳情；
? 想學(xué)習(xí)CDA考試教材，點(diǎn)擊>>> “CDA教材” 了解CDA考試詳情；
? 想加入CDA考試題庫，點(diǎn)擊>>> “CDA題庫” 了解CDA考試詳情；
? 想了解CDA考試含金量，點(diǎn)擊>>> “CDA含金量” 了解CDA考試詳情；
京公網(wǎng)安備 11010802034615號
經(jīng)營許可證編號：京B2-20210330
