在這個(gè)大數(shù)據(jù)時(shí)代，如果你的網(wǎng)站擁有數(shù)以千萬計(jì)的活躍用戶，如果網(wǎng)站上擁有數(shù)以百計(jì)的產(chǎn)品服務(wù)，如果這些服務(wù)以多媒體的形式在多個(gè)網(wǎng)絡(luò)終端上運(yùn)行，如果正在或者打算嘗試走向云計(jì)算和WEB2.0架構(gòu)，那就恭喜你了，因?yàn)槟阋呀?jīng)不知不覺地成為大數(shù)據(jù)時(shí)代的先行者或受害者。
    按照維基百科上的定義，所謂“大數(shù)據(jù)”(big data)在當(dāng)今的互聯(lián)網(wǎng)業(yè)指的是這樣一種現(xiàn)象：一個(gè)網(wǎng)絡(luò)公司日常運(yùn)營(yíng)所生成和積累用戶網(wǎng)絡(luò)行為數(shù)據(jù)“增長(zhǎng)如此之快，以至于難以使用現(xiàn)有的數(shù)據(jù)庫管理工具來駕馭，困難存在于數(shù)據(jù)的獲取，存儲(chǔ)，搜索，共享，分析和可視化等方面。”這些數(shù)據(jù)量是如此之大，已經(jīng)不是以我們所熟知的多少G和多少T為單位來衡量，而是以P(1000個(gè)T)，E(一百萬個(gè)T)或Z(10億個(gè)T)為計(jì)量單位，所以稱之為大數(shù)據(jù)。
    大數(shù)據(jù)現(xiàn)象在物理學(xué)，生物學(xué)，環(huán)境生態(tài)學(xué)，自動(dòng)控制等科學(xué)領(lǐng)域和軍事，通訊，金融等行業(yè)已經(jīng)存在有些時(shí)日了，在互聯(lián)網(wǎng)業(yè)出現(xiàn)卻是近年來才逐漸引人注目的。這可以歸結(jié)為三個(gè)基本原因。第一，網(wǎng)絡(luò)用戶的高速增長(zhǎng)和用戶平均網(wǎng)絡(luò)使用時(shí)間的不斷延長(zhǎng)，這使得用戶網(wǎng)絡(luò)行為數(shù)據(jù)大增;第二，網(wǎng)絡(luò)服務(wù)從單一的文字形式走向圖片，語音和影像等多媒體形式，導(dǎo)致數(shù)據(jù)量大增;第三，網(wǎng)絡(luò)終端由過去的單一臺(tái)式機(jī)變?yōu)榕_(tái)式機(jī)，平板電腦，書刊閱讀器，手機(jī)和電視等多終端，大大擴(kuò)充了網(wǎng)絡(luò)服務(wù)的內(nèi)容與范圍，大大提高了用戶對(duì)互聯(lián)網(wǎng)的依賴度，也就大大增加了數(shù)據(jù)量。
    大數(shù)據(jù)的出現(xiàn)既為網(wǎng)絡(luò)業(yè)帶來了機(jī)遇也帶來了挑戰(zhàn)。從潛在的機(jī)會(huì)看，數(shù)據(jù)量的增加為網(wǎng)絡(luò)公司提供了精確把握用戶群體和個(gè)體網(wǎng)絡(luò)行為模式的基礎(chǔ)，如果能夠充分利用，就可以探索個(gè)人化，個(gè)性化，精確化和智能化地進(jìn)行廣告推送和服務(wù)推廣服務(wù)，創(chuàng)立比現(xiàn)有廣告和產(chǎn)品推廣形式性價(jià)比高數(shù)倍甚至數(shù)十倍的全新商業(yè)模式。同時(shí)，網(wǎng)絡(luò)公司也可以通過對(duì)大數(shù)據(jù)的把握，尋找更多更好地增加用戶粘性，開發(fā)新產(chǎn)品和新服務(wù)，降低運(yùn)營(yíng)成本的方法和途徑。從現(xiàn)實(shí)的挑戰(zhàn)看，主要集中在以下三個(gè)方面。
    首先，大數(shù)據(jù)挑戰(zhàn)著網(wǎng)絡(luò)公司的戰(zhàn)略決策能力。數(shù)據(jù)量的急劇增長(zhǎng)不僅要求在帶寬和存儲(chǔ)設(shè)備等基礎(chǔ)設(shè)施方面要增加大量投入，而且使網(wǎng)絡(luò)公司處于進(jìn)退兩難的境地。如果采取無所作為，固守原狀的鴕鳥政策，那就可能失去未來發(fā)展的機(jī)會(huì)，失去業(yè)內(nèi)競(jìng)爭(zhēng)的本錢，早晚會(huì)被產(chǎn)業(yè)淘汰或者居于下游;如果與時(shí)俱進(jìn)，轉(zhuǎn)型適應(yīng)大數(shù)據(jù)時(shí)代的到來，那就需要對(duì)公司的現(xiàn)有產(chǎn)品和運(yùn)營(yíng)體系進(jìn)行全面的改造，例如網(wǎng)站架構(gòu)的重建;產(chǎn)品的通用化，標(biāo)準(zhǔn)化，模塊化;商業(yè)模式的創(chuàng)新;等等。這對(duì)絕大多數(shù)網(wǎng)絡(luò)公司而言，既要維持現(xiàn)有業(yè)務(wù)，保持業(yè)績(jī)的穩(wěn)定和增長(zhǎng)，又要加大投入，迅速轉(zhuǎn)型，是個(gè)進(jìn)退維谷的兩難處境。
    其次，大數(shù)據(jù)挑戰(zhàn)著網(wǎng)絡(luò)公司的技術(shù)開發(fā)和數(shù)據(jù)處理能力。大數(shù)據(jù)的出現(xiàn)以及潛在的商業(yè)價(jià)值不僅要求網(wǎng)絡(luò)公司使用專門的數(shù)據(jù)庫技術(shù)和專用的數(shù)據(jù)存儲(chǔ)設(shè)備，而且更要求專門的數(shù)據(jù)分析方法和使用體系。目前業(yè)內(nèi)流行的一般數(shù)據(jù)挖掘方法和通用商業(yè)數(shù)據(jù)庫無法滿足大數(shù)據(jù)時(shí)代的挑戰(zhàn)。而且，網(wǎng)絡(luò)公司需要大量高端專業(yè)人才，這不僅指一般的程序員和數(shù)據(jù)庫工程師，而且指天體物理學(xué)家，生態(tài)學(xué)家，數(shù)學(xué)和統(tǒng)計(jì)學(xué)家，社會(huì)網(wǎng)絡(luò)學(xué)家，社會(huì)行為心理學(xué)家，等等。對(duì)海量數(shù)據(jù)的分析不能僅僅局限在一般數(shù)據(jù)規(guī)律和模型的把握水平上，而且要有理論思維和全面把握的綜合深入能力。
    第三，大數(shù)據(jù)挑戰(zhàn)著網(wǎng)絡(luò)公司的組織和運(yùn)營(yíng)能力。一般中小網(wǎng)絡(luò)公司都沒有專門的數(shù)據(jù)管理和分析專家，即使是大型網(wǎng)絡(luò)公司中，數(shù)據(jù)管理和分析部門也處于分散，被動(dòng)，輔助的地位，是公司的龍尾而不是龍頭。大數(shù)據(jù)時(shí)代的數(shù)據(jù)分析基本單位是個(gè)人用戶，尋找的是個(gè)人的全面，完整，動(dòng)態(tài)，實(shí)時(shí)的網(wǎng)絡(luò)行為模式以及在此基礎(chǔ)上歸納出來的群體行為模式，而不是過去那種基于單個(gè)產(chǎn)品，服務(wù)，頻道的碎片式靜態(tài)統(tǒng)計(jì)分析。所以，對(duì)大數(shù)據(jù)的整體把握是網(wǎng)絡(luò)公司產(chǎn)品開發(fā)，運(yùn)營(yíng)設(shè)置，商業(yè)模式的基礎(chǔ)和出發(fā)點(diǎn)，是龍頭而不是龍尾。這就需要對(duì)現(xiàn)有公司架構(gòu)，組織體系，資源配置和權(quán)力結(jié)構(gòu)進(jìn)行重組，讓數(shù)據(jù)管理與分析部門處于公司整體的上游位置。重組成功的標(biāo)志之一就是公司設(shè)立首席數(shù)據(jù)官(Chief Data Officer, CDO)的職位，與CEO, COO, CFO, CTO等一道組成公司核心決策層。
    大數(shù)據(jù)是整個(gè)WEB2.0革命的重要組成部分，世界網(wǎng)絡(luò)業(yè)的領(lǐng)軍公司，例如GOOGLE，F(xiàn)ACEBOOK，蘋果和亞馬遜已經(jīng)處于先發(fā)的位置上。中國(guó)網(wǎng)絡(luò)業(yè)中哪家公司能急起直追，誰就是先行者，否則，只能扮演受害者的角色。