如何在海量數(shù)據(jù)中尋找和分析信息

雖然大數(shù)據(jù)這個概念炒的非?；?，但是大數(shù)據(jù)內部運作的邏輯，其實和我們傳統(tǒng)行業(yè)是比較類似的。比如如果傳統(tǒng)行業(yè)做實業(yè)的話，首先要有地基，你要有廠房，要有原材料，然后做加工，接下來設計成獨立的產(chǎn)品，給客戶帶來獨特的體驗。我們剛才講的開放云就是大數(shù)據(jù)的地基和廠房，原材料就是在線上和線下產(chǎn)生的海量數(shù)據(jù)。這個是我們現(xiàn)在百度目前每天數(shù)據(jù)規(guī)模，2013年是25PB，這個數(shù)字在快速的變化，我們現(xiàn)在處理的能力已經(jīng)提高一倍，數(shù)據(jù)上目前是50PB，增長了一倍，這個就是我們目前大數(shù)據(jù)庫要處理的數(shù)據(jù)的原材料。那么有了原材料接下來該怎么辦？

數(shù)據(jù)存儲

稍微看一下我們目前的大數(shù)據(jù)處理能力的三層架構。首先我們有海量的數(shù)據(jù)儲存能力，然后在這個基礎上，我們會做很多智能的分析，在這個基礎上我們做很多大數(shù)據(jù)的產(chǎn)品，我們會逐步的開放這三個方面的能力。先說一下海量數(shù)據(jù)，做實業(yè)的各位領導和專家們，如果你有原材料，最關鍵的下一步要做兩件事，一件事情是物流，第二件事情是原材料的標準化，要把原材料制成毛坯，在這個基礎上才能實現(xiàn)你的產(chǎn)能。

在海量數(shù)據(jù)的處理上是這樣的，百度三年前我們的架構是左邊這樣一個模式，在這個時候我們的數(shù)據(jù)傳輸，我們數(shù)據(jù)的儲存都是每個產(chǎn)品線有自己的方式，我們大概用了兩年的時間構建現(xiàn)在的數(shù)據(jù)儲存方式，解決兩個問題，一是數(shù)據(jù)的傳輸?，F(xiàn)在百度很多產(chǎn)品線要實時產(chǎn)生大量海量的數(shù)據(jù)，這些數(shù)據(jù)都需要被實時的儲存一個地方。

但是這些產(chǎn)品線的數(shù)據(jù)格式都是異構的。我們做了非常多的標準化的工作，在基礎上形成了第一個海量數(shù)據(jù)儲存的產(chǎn)品，叫通用的數(shù)據(jù)倉庫。在使用這個通用的數(shù)據(jù)倉庫，我們第一個構建了實時的海量數(shù)據(jù)的傳輸平臺，那么任何一個產(chǎn)品線產(chǎn)生的數(shù)據(jù)都能夠實時的傳送到這個數(shù)據(jù)倉庫里面。另外我們做了實時的數(shù)據(jù)標準化的工作，無論你的數(shù)據(jù)是什么樣的格式，到我們數(shù)據(jù)倉庫里面都以同樣的格式來儲存，有了這個物流，有了這個標準化，我們能夠在這個基礎上對數(shù)據(jù)進行更多的分析和加工。

那么從這開始，百度的數(shù)據(jù)就開始在大數(shù)據(jù)部門進行各種各樣的處理過程。

數(shù)據(jù)分析

這個圖有點復雜，這是數(shù)據(jù)在百度的一個生命周期，這邊涉及到很多的技術細節(jié)，我會詳細一一介紹。這里我想強調的是整個數(shù)據(jù)的流程是全自動化的，從數(shù)據(jù)的生成，數(shù)據(jù)的傳輸，數(shù)據(jù)的標準化，到最后數(shù)據(jù)的歸類，數(shù)據(jù)的分析，都是全自動化的。這里面我是很高興跟大家宣布，我們這套全自動化的流程，并形成了我們自己的產(chǎn)品。

這個產(chǎn)品我們現(xiàn)在有一個英文名字叫Query Engine，是一套標準的海量數(shù)據(jù)儲存方案，首先無論你的數(shù)據(jù)是什么樣的，經(jīng)過我們的處理會把它做成數(shù)據(jù)標準化，當你的數(shù)據(jù)實時生成，我們有非常好的數(shù)據(jù)傳輸框架，保證你的數(shù)據(jù)上傳到百度的開放云，在上面進行建模，進行各種各樣可視化分析和決策的過程。我們已經(jīng)成功了上傳分析一家合作企業(yè)將近10T的關于新能源方面的一些數(shù)據(jù)。百度非常歡迎傳統(tǒng)企業(yè)，如果你有海量的數(shù)據(jù)，你需要各種各樣的分析和操作的話，來接洽我們，來使用我們這款產(chǎn)品。

當這個數(shù)據(jù)已經(jīng)被結構化儲存以后，我們希望在這個基礎上能夠進行各種各樣的智能化分析。就像傳統(tǒng)行業(yè)有自己的產(chǎn)品設計中心一樣，會對產(chǎn)品進行各種各樣的分析、排列組合，做各種各樣的實驗。在這個實驗的基礎上能夠產(chǎn)生出比較好的產(chǎn)品，能夠滿足用戶的需求。那么在大數(shù)據(jù)部門也有這樣的需求，也需要有大數(shù)據(jù)產(chǎn)品的設計中心，在這個設計中心需要做很多實驗，做出適用于百度，適用于客戶的數(shù)據(jù)產(chǎn)品。所以這個產(chǎn)品經(jīng)過四個月的努力，我們也已經(jīng)對外開放。就是之前高級總監(jiān)朱永忠介紹的，大家可以通過這個域名去訪問。

在這上面，我們大數(shù)據(jù)新產(chǎn)品的設計中心，可以進行很多實時的智能分析，做很多的實驗，對產(chǎn)品進行很多排列組合，看哪一種產(chǎn)品能夠最適合行業(yè)，滿足百度的需求。

大數(shù)據(jù)產(chǎn)品

那么有了這樣的開放能力，下面給大家介紹在這個基礎上大數(shù)據(jù)部研發(fā)出來的三個大數(shù)據(jù)產(chǎn)品，希望能夠對在座的做實業(yè)的朋友有幫助。

第一個產(chǎn)品叫百度司南，專門針對于當企業(yè)發(fā)展到一定的階段，有了一定的品牌影響力的企業(yè)，能夠讓企業(yè)對自身的品牌有更客觀的了解，一共是三個方面。第一個是品牌分析，實際上你應該很想知道你的品牌在那個同行業(yè)里它的定位怎么樣，周邊的人是如何看待你這個品牌的，對你這個品牌的口碑怎么樣。而且我們把它做到基本上是實時的，你可以此時此刻知道大家對你品牌的口碑到底怎么樣。

另外一方面，關注你的品牌，應該一定有一批已經(jīng)比較忠實的用戶了，那么這些人除了關注你的品牌，像剛才陳總講的一樣，除了關注你的品牌，他還關心什么別的，他還對什么樣的東西感興趣。這些我們通過基于統(tǒng)計的用戶畫像也能夠告訴你。

另外一個這些人是通過什么渠道來了解到你的品牌，他是通過IPAD，是通過手機，通過看電視，還是通過PC、還是移動互聯(lián)網(wǎng)的瀏覽，這樣以后做營銷行為，就知道如何很快的影響到你的受眾，什么樣的渠道是最有效的。那么通過這幾個方式，我們都能夠告訴大家你的品牌到底處在什么樣的狀態(tài)。

給大家看兩個司南在品牌上的應用。第一個叫代言人。很多品牌到了后期推廣的時候，都有找代言人的需求。什么樣的代言人在你最想影響的受眾是最有號召力。之前是一些拍腦袋的決策，但是通過我們司南，通過海量的數(shù)據(jù)，通過海量的用戶行為分析，可以幫助你做一個決策的科學。實際上我們已經(jīng)通過大數(shù)據(jù)的分析，可以產(chǎn)生出超過一千家的企業(yè)，他們最合適的代言人到底是哪一位。如果哪位老總也想嘗試自己品牌的話，可以和我們合作，我們可以告訴你，通過我們的數(shù)據(jù)，什么樣的代言人，對于你的受眾會產(chǎn)生最大的品牌號召力。

另外一個是輿情分析，實際是跟品牌的口碑最像。你的企業(yè)里有一系列的產(chǎn)品，每一個產(chǎn)品可能有輕微的差異化，就像我們的化妝品一樣，每一款產(chǎn)品在用戶中的口碑到底怎么樣，用戶喜歡這些產(chǎn)品什么樣的功能，不喜歡這些產(chǎn)品什么樣的功能。在之前，很多公司通過調研公司到各個城市，通過實時的訪談獲得一些統(tǒng)計數(shù)據(jù)。整個過程要耗費一個月左右。通過我們的輿情分析，幾乎可以實時告訴你這個答案，到底有多少用戶是喜歡這個功能，有多少用戶不喜歡這個功能。一個是通過一個月，一個是通過實時，這樣的話就有時間差了。這個時間差就是百度大數(shù)據(jù)能給傳統(tǒng)行業(yè)帶來的競爭力。

這是我們第一款基于大數(shù)據(jù)的工具，叫百度司南。

另外就是我們的預測平臺產(chǎn)品。預測這個產(chǎn)品說的已經(jīng)比較多了，這次想跟大家說的是，當我們發(fā)布了預測產(chǎn)品，并且取得了比較好的效果，很多公司，或者是一些政府部門會跟我們接洽，能不能幫我們也分析一下數(shù)據(jù)。比如景點希望我們幫他預測下一步七天的人流到底多還是不多。有的企業(yè)希望讓我們幫他預測下一步季度營業(yè)額是否能跟上一個季度匹配。

我們現(xiàn)在非常高興的把我們的預測平臺能力開放出來，你不需要再去接洽百度的產(chǎn)品經(jīng)理做這樣的事情，只要你使用我們的開放平臺上傳你的數(shù)據(jù)，我們后面就會基于一系列各種各樣的數(shù)據(jù)分析，智能的算法和百度后臺自己的數(shù)據(jù)幫你做一些決策和分析。希望能夠幫助傳統(tǒng)企業(yè)做決策分析的時候能夠多一些科學的決策依據(jù)。

另外一個是我們的推薦。我們現(xiàn)在非常高興把我們這個能力也開放出來，非?？上覀兡壳爸幻鎸?span id="geybsqlxm7mc" class="keyword_link">互聯(lián)網(wǎng)的站長，站長可以定定制到底想用我們推薦的哪一方面的技術和性能、功能，非常靈活的為他的網(wǎng)站做推薦。但實際上我們最想做到的是把我們這套推薦引擎，和傳統(tǒng)行業(yè)結合起來，和很多實時推薦結合起來，在這塊也非常希望傳統(tǒng)的行業(yè)能跟我們接洽，把我們這種非常先進的線上推薦的技術和線下的場景結合起來，在線下發(fā)揮更大的功能。

三個產(chǎn)品只是揭開了冰山一角，在大數(shù)據(jù)這個方面，產(chǎn)品設計的想象力其實是很多很多的，我們在這方面也非常興奮，后面我們也會陸續(xù)推出一系列的大數(shù)據(jù)產(chǎn)品，請大家期待。百度愿意與更多的人一起合作，在大數(shù)據(jù)這個方向上給百度，給行業(yè)、給用戶帶來更多的價值。