注意：大數(shù)據(jù)分析系統(tǒng)應(yīng)該規(guī)避的問(wèn)題

在剛剛過(guò)去的四月份里，我們51CTO傳媒在京舉辦了《2013大數(shù)據(jù)全球技術(shù)峰會(huì)》，相信關(guān)注大數(shù)據(jù)、關(guān)注51CTO的朋友們，在這次大規(guī)模的技術(shù)盛宴里，更多地了解了大數(shù)據(jù)的奧秘。如果沒(méi)有趕上參加這場(chǎng)峰會(huì)的朋友，也不要心急，因?yàn)橛嘘P(guān)此次峰會(huì)概況的的視頻已經(jīng)出爐，感興趣的網(wǎng)友可以去我們的官網(wǎng)查看相關(guān)信息。本次峰會(huì)我們邀請(qǐng)了30多位來(lái)自國(guó)內(nèi)外的資深技術(shù)專家，能和這些專家近距離接觸，面對(duì)面交流，小編深感榮幸。為了深入挖掘大數(shù)據(jù)分析系統(tǒng)這方面信息，小編力邀到了某上市互聯(lián)網(wǎng)公司高級(jí)工程師馬先生，來(lái)共同探討了這一話題。

（圖片來(lái)自百度）

大數(shù)據(jù)分析前期要做的事

其實(shí)，每一個(gè)數(shù)據(jù)都有一個(gè)ETL，就是抽取、轉(zhuǎn)化，然后去加載，包括做數(shù)據(jù)的清洗。如果數(shù)據(jù)大批量進(jìn)來(lái)的話，有些數(shù)據(jù)可能是有問(wèn)題的，馬先生舉了個(gè)例子：比如說(shuō)，好多地址會(huì)寫(xiě)得比較模糊，如果要搜索北京這個(gè)詞的時(shí)候，數(shù)據(jù)倉(cāng)庫(kù)里可能只有一個(gè)京字，這些都要統(tǒng)一整理成一個(gè)，比如說(shuō)北京，這樣后面分析就會(huì)簡(jiǎn)單，比如山東，有人會(huì)輸入“魯”字來(lái)進(jìn)行搜索，而不是山東，這就需要在大數(shù)據(jù)分析前期做好數(shù)據(jù)清理工作，做規(guī)范化，這樣后面的數(shù)據(jù)分析起來(lái)就方便很多。

搭建大數(shù)據(jù)分析系統(tǒng)的注意事項(xiàng)

在搭建大數(shù)據(jù)分析系統(tǒng)時(shí)，有哪些需要注意的事項(xiàng)？馬老師提到：首先要弄明白你所在企業(yè)需要什么樣的數(shù)據(jù)，或者你想得到什么價(jià)值，想明白了再去做。因?yàn)樽鰯?shù)據(jù)不像做別的東西，一定明確知道要知道你要干什么，不然這個(gè)系統(tǒng)搭的時(shí)候會(huì)有很多困難，不知道該怎么搭，不知道用什么技術(shù)，也不知道數(shù)據(jù)進(jìn)去是否在浪費(fèi)。而目前的情況是：很多企業(yè)可能會(huì)先把架構(gòu)搭出來(lái)，實(shí)際上這數(shù)據(jù)每天在算，但是不知道這數(shù)據(jù)帶來(lái)什么價(jià)值，所以更多是一個(gè)業(yè)務(wù)驅(qū)動(dòng)的。再舉個(gè)例子：比如說(shuō)中國(guó)移動(dòng)就想挖一挖，到底是哪一個(gè)用戶老欠費(fèi)，哪一個(gè)用戶用得多，用的多的就給他優(yōu)惠多一點(diǎn)……如果他有這個(gè)需求，你再把這個(gè)需求下轉(zhuǎn)給下面的人，按照這個(gè)需求去開(kāi)發(fā)；

其次，需要選擇適當(dāng)?shù)募夹g(shù)。比如說(shuō)你一臺(tái)機(jī)器夠用的，不要用兩臺(tái)機(jī)器，能夠進(jìn)來(lái)報(bào)表就不要用交互報(bào)表，因?yàn)槟莻€(gè)都是有技術(shù)成本的，并且上線的速度會(huì)慢很多。所以建議任何一個(gè)企業(yè)在搭建數(shù)據(jù)分析以前，要特別清晰地知道其搭建的需求和目的，選擇什么方案，搭它來(lái)解決什么問(wèn)題，針對(duì)需求你去做一個(gè)數(shù)據(jù)分析；

再次，在沒(méi)有時(shí)時(shí)性要求時(shí)，你不要自作主張，向老大提這個(gè)。因?yàn)榇蠊镜呐恳呀?jīng)做得非常完美了，可能批量已經(jīng)帶來(lái)35%的收入增加了，他要再做時(shí)時(shí)，再增加5%，而你現(xiàn)在什么都沒(méi)有。如果說(shuō)先要做時(shí)時(shí)，或者先要全部搞出來(lái)的話，可能要先一步一部把35%做好，把那個(gè)批量先做出來(lái)，然后再做時(shí)時(shí)，這樣效果會(huì)更好。

不要濫搭大數(shù)據(jù)分析系統(tǒng)

技術(shù)這個(gè)東西都是相通的，沒(méi)有一項(xiàng)改進(jìn)都是說(shuō)完全是重新造出來(lái)的，都是在改的，但是它帶來(lái)的價(jià)值不一樣，它帶來(lái)的人的思考，就跟人從零售店買(mǎi)東西和網(wǎng)商這種不一樣，但是技術(shù)，零售店也會(huì)用一些數(shù)據(jù)庫(kù)，網(wǎng)上也可能用，要在這個(gè)上面做一些轉(zhuǎn)變。馬老師談到，好多國(guó)企（這里就不點(diǎn)名），就是為了上項(xiàng)目去上項(xiàng)目，稱自己有海量數(shù)據(jù)。當(dāng)問(wèn)他需要搭建的大數(shù)據(jù)系統(tǒng)是用來(lái)干什么，他們的答案很出乎意料：先給搭起來(lái)，先存起來(lái)，需要的時(shí)候再用，就這種思想。其實(shí)這個(gè)是沒(méi)有必要的。

總結(jié)

雖然大數(shù)據(jù)現(xiàn)在炙手可熱，大數(shù)據(jù)分析越來(lái)越火爆，很多企業(yè)都在試圖擁抱大數(shù)據(jù)技術(shù)。但還是應(yīng)該具體問(wèn)題具體分析，因?yàn)?a target="_blank">大數(shù)據(jù)分析系統(tǒng)并非適合所有的企業(yè)，一些小型規(guī)模的企業(yè)在舊系統(tǒng)能滿足需求的時(shí)候，就不要盲目地去追隨潮流，舍棄舊的系統(tǒng)重新搭建，也可能解決了這個(gè)小缺口，但是可能會(huì)滋生其它更大的問(wèn)題，這就得不償失了。