大數(shù)據(jù)時(shí)代 每家公司都要有大數(shù)據(jù)部門(mén)嗎

在大數(shù)據(jù)時(shí)代 每家公司都要有大數(shù)據(jù)部門(mén)嗎？如果這個(gè)問(wèn)題換做是：在電氣時(shí)代，每家公司都要有個(gè)發(fā)電廠嗎?是不是會(huì)更好回答一些?

事實(shí)上每一種重大技術(shù)的出現(xiàn)，都會(huì)對(duì)產(chǎn)業(yè)產(chǎn)生大的變化。在蒸汽時(shí)代，采礦機(jī)采用蒸汽機(jī)后，會(huì)帶來(lái)生產(chǎn)效率的極大提升，而輪船加上蒸汽機(jī)，再也不需要靠風(fēng)才能航海了。在電氣時(shí)代，電燈代替了蠟燭，電報(bào)代替了快馬送信，而報(bào)紙也被廣播和電視所侵蝕。

可以說(shuō)是現(xiàn)有產(chǎn)業(yè)加上新技術(shù)，形成了新產(chǎn)業(yè)。

我們回過(guò)頭來(lái)看這兩次工業(yè)革命，生產(chǎn)蒸汽機(jī)的企業(yè)只有少量幾家，而發(fā)電的企業(yè)在美國(guó)也只有通用電氣和西屋電氣。并不是每家企業(yè)都要從事這些基礎(chǔ)設(shè)施的研發(fā)和生產(chǎn)，更多的是對(duì)新技術(shù)加以應(yīng)用，發(fā)揮新技術(shù)帶來(lái)的價(jià)值。

在IT領(lǐng)域，軟件剛出來(lái)時(shí)，可以說(shuō)是計(jì)算和存儲(chǔ)完全混雜在一起。有人嘗試將計(jì)算硬件進(jìn)行分離，歪打正著成就了Intel。有人嘗試將存儲(chǔ)系統(tǒng)分離，因而有了Oracle。

Intel和Oracle固然偉大，但它們的價(jià)值更多的還在于有廣大的企業(yè)采用了這些新的技術(shù)，在具體的行業(yè)中，產(chǎn)生了更大的價(jià)值。

同樣，云計(jì)算這種理念固然是好，但如果每家企業(yè)都建立自己的云計(jì)算中心，從資金和人力投入上，一定是不劃算的，更嚴(yán)重的問(wèn)題是做不到最優(yōu)。相反，有了AWS和阿里云這樣的云計(jì)算提供商，讓中小企業(yè)更便捷的進(jìn)行創(chuàng)新應(yīng)用。

回到題目中的問(wèn)題，在大數(shù)據(jù)時(shí)代，每家公司都要有自己的大數(shù)據(jù)部門(mén)嗎?結(jié)論也不能下的太武斷。

早在2008年，云計(jì)算的概念剛剛興起，百度內(nèi)部出現(xiàn)了兩撥勢(shì)力。一撥要從零開(kāi)始打造自己的大數(shù)據(jù)底層技術(shù)，把MapReduce、GFS、BigTable這些組件都要實(shí)現(xiàn)一遍，結(jié)果花了兩三年時(shí)間，也沒(méi)能穩(wěn)定運(yùn)行。

而另外一撥勢(shì)力，直接采納開(kāi)源的Hadoop生態(tài)，很快在公司內(nèi)應(yīng)用起來(lái)。而我當(dāng)時(shí)做的日志統(tǒng)計(jì)平臺(tái)，也是采用了Hadoop。但百度的數(shù)據(jù)規(guī)模畢竟太大了，所需的集群規(guī)模，開(kāi)源版本根本撐不住，于是不得不改寫(xiě)Hadoop，這樣就和開(kāi)源的版本漸行漸遠(yuǎn)，等到后來(lái)再也合不到一起了。

曾經(jīng)有一年多的時(shí)間，我們部門(mén)新設(shè)計(jì)和實(shí)現(xiàn)和底層的存儲(chǔ)及計(jì)算系統(tǒng)，結(jié)果發(fā)現(xiàn)開(kāi)源的版本也差不多實(shí)現(xiàn)到了同樣效果。雖然許多內(nèi)部的人覺(jué)得我們?cè)趺纯傊貜?fù)造輪子，但我明白還是需求使然，你面臨的需求相對(duì)領(lǐng)先，但也沒(méi)有領(lǐng)先到像Google那樣提早5年。

但對(duì)于小公司來(lái)說(shuō)，則完全沒(méi)必要從零開(kāi)始做，還是要盡量用開(kāi)源的產(chǎn)品。

整個(gè)Hadoop生態(tài)，要比我2008年剛用的時(shí)候，要成熟很多。那個(gè)時(shí)候我們?nèi)ツ瞄_(kāi)源的版本，編譯部署，一個(gè)新手可能兩周都不一定能正常的運(yùn)轉(zhuǎn)起來(lái)。而現(xiàn)在下載一個(gè)Cloudera發(fā)行版，兩個(gè)小時(shí)就可以正常跑任務(wù)了。

與此同時(shí)，又面臨了新的問(wèn)題，因?yàn)榇髷?shù)據(jù)平臺(tái)牽涉到數(shù)據(jù)的采集、傳輸、建模存儲(chǔ)、查詢分析、可視化等多個(gè)環(huán)節(jié)，而開(kāi)源領(lǐng)域只是一些組件，于是各家公司都在紛紛打造自己的大數(shù)據(jù)平臺(tái)，這就像Oracle之前，各家都在打造自己的存儲(chǔ)系統(tǒng)。這顯然不是一件性價(jià)比高的事情。

有市場(chǎng)需求，就會(huì)有滿足相應(yīng)需求的公司誕生，于是就誕生了一堆提供大數(shù)據(jù)服務(wù)的公司。

由于這一新領(lǐng)域還處于早期，這些創(chuàng)業(yè)公司所能提供的服務(wù)并不會(huì)特別的完善，要么是以項(xiàng)目制的方式運(yùn)轉(zhuǎn)，要么是提供專門(mén)應(yīng)用場(chǎng)景的服務(wù)。

這樣，對(duì)于一些企業(yè)來(lái)說(shuō)，這些創(chuàng)業(yè)公司提供的服務(wù)，似乎自己也能實(shí)現(xiàn)，那何不干脆自己做?

這創(chuàng)業(yè)一年多以來(lái)，我看到了太多的公司在打造自己的數(shù)據(jù)平臺(tái)，但做的還不夠完善。不管是技術(shù)實(shí)力還是人力投入上，都有點(diǎn)力不從心。如果選用了這些第三方數(shù)據(jù)服務(wù)，那豈不飯碗被搶了?

可我要說(shuō)的是，飯碗早晚都會(huì)被搶，只是時(shí)間早晚的問(wèn)題。這里只需要問(wèn)一個(gè)問(wèn)題：我所做的數(shù)據(jù)平臺(tái)，是不是其他公司也是類似的需求?如果是的話，那肯定也有其他公司做著類似的事情，做的東西會(huì)大同小異。

那么，就會(huì)出現(xiàn)專門(mén)的公司，來(lái)解決這種通用的需求。因?yàn)檫@些公司專注于解決這一塊問(wèn)題，所以會(huì)更加專業(yè)，并且舍得投入。而對(duì)于需求公司來(lái)說(shuō)，除非自己轉(zhuǎn)型去專門(mén)做大數(shù)據(jù)平臺(tái)，不然在投入上，肯定不是一件性價(jià)比很高的事情。與其如此，不如及早側(cè)重于自己的核心業(yè)務(wù)，關(guān)注應(yīng)用需求本身。

那對(duì)于企業(yè)來(lái)說(shuō)，在大數(shù)據(jù)時(shí)代，應(yīng)該怎么做呢?我的建議是三點(diǎn)：

首先，要擁抱大數(shù)據(jù)技術(shù)。

新的重大技術(shù)出現(xiàn)，都帶有顛覆性。一不小心，就會(huì)被革命。但也不是說(shuō)企業(yè)已有的業(yè)務(wù)不用搞了，都來(lái)搞大數(shù)據(jù)吧。

在大數(shù)據(jù)這件事上，還是要從需求出發(fā)，而不是從大數(shù)據(jù)出發(fā)。

有人會(huì)問(wèn)我，我有了一些數(shù)據(jù)，給我講講怎么能發(fā)揮更大的價(jià)值。坦率來(lái)說(shuō)，許多時(shí)候不了解業(yè)務(wù)場(chǎng)景，很難提出建設(shè)性的意見(jiàn)的。

相反，我們要先看在企業(yè)滿足客戶需求的時(shí)候，還有哪些重大問(wèn)題沒(méi)有解決好，如果采用了大數(shù)據(jù)技術(shù)，是不是可以更好的解決?如果有這樣的點(diǎn)，那非常好，就勇于去嘗試。如果沒(méi)有，那就繼續(xù)學(xué)習(xí)大數(shù)據(jù)的知識(shí)，再等待這樣的場(chǎng)景出現(xiàn)。

其次，企業(yè)要有懂大數(shù)據(jù)的人。

這種人不一定是全職的，但至少是可以將企業(yè)的業(yè)務(wù)和大數(shù)據(jù)技術(shù)結(jié)合起來(lái)的人。這種人不一定對(duì)大數(shù)據(jù)技術(shù)本身很懂，但善于使用新技術(shù)。

如果企業(yè)現(xiàn)在還沒(méi)有，并且還沒(méi)招到。可以去培養(yǎng)一個(gè)頭腦靈活，樂(lè)于學(xué)習(xí)新技術(shù)的人。如果拋開(kāi)大數(shù)據(jù)系統(tǒng)的實(shí)現(xiàn)挑戰(zhàn)，理解大數(shù)據(jù)的應(yīng)用場(chǎng)景，那難度會(huì)降低不少。

最后，要善于利用第三方服務(wù)。

能用第三方服務(wù)解決的，就盡快去嘗試。在競(jìng)爭(zhēng)激烈的情況下，通過(guò)采用新技術(shù)，獲得技術(shù)紅利，跑的更快。就像愛(ài)迪生當(dāng)年發(fā)明白熾燈后，那些更早將白熾燈用于工廠的企業(yè)家，更有可能提升工人的工作效率。