大數(shù)據(jù)與傳媒業(yè)發(fā)展1_數(shù)據(jù)分析師培訓(xùn)

互聯(lián)網(wǎng)帶來(lái)了繼文字發(fā)明、古登堡印刷術(shù)、電報(bào)之后的第四次傳播革命，也帶來(lái)了繼蒸汽機(jī)的發(fā)明和電力的廣泛應(yīng)用之后的第三次工業(yè)革命，已經(jīng)成為整個(gè)社會(huì)的底層架構(gòu)和標(biāo)配。大數(shù)據(jù)作為互聯(lián)網(wǎng)的一個(gè)重要方面，必將對(duì)傳媒業(yè)帶來(lái)革命性變化，這就要求傳媒業(yè)從業(yè)人員具備大數(shù)據(jù)思維，充分利用大數(shù)據(jù)技術(shù)來(lái)幫助自身實(shí)現(xiàn)跨越式發(fā)展。

　　一、信息的開(kāi)放與云計(jì)算帶來(lái)了大數(shù)據(jù)

　　首先，傳播革命使得信息數(shù)量呈指數(shù)級(jí)增加。在文字發(fā)明之前，人類的傳播只能通過(guò)口口相傳，信息量極其有限，公元前4000年楔形文字出現(xiàn)之后，使得傳播可以突破時(shí)間限制而實(shí)現(xiàn)代際傳播，通過(guò)把信息記錄在龜甲、樹(shù)葉、泥土等介質(zhì)上，信息的數(shù)量開(kāi)始大幅度增加。但是由于技術(shù)的制約，信息只能通過(guò)抄書(shū)人來(lái)進(jìn)行記錄和傳播，導(dǎo)致信息的數(shù)量和傳播范圍都受到很大的制約。1450年，古登堡印刷術(shù)的發(fā)明使得傳播突破了范圍限制，傳播開(kāi)始從精英們的“權(quán)力”轉(zhuǎn)變?yōu)槠樟_大眾的“權(quán)利”，此后的50年間，大約有800萬(wàn)本書(shū)被印刷，比之前所有的手抄本還多。此后的電報(bào)技術(shù)的發(fā)明，使得傳播突破地區(qū)和時(shí)間限制，信息的數(shù)量也快速增加。而1989年，當(dāng)萬(wàn)維網(wǎng)出現(xiàn)之后，實(shí)現(xiàn)了即時(shí)、便捷、海量和互動(dòng)的傳播，人人在接受信息的同時(shí)都可能成為自媒體，信息數(shù)量極速增加。根據(jù)ZDNET的數(shù)據(jù)顯示，2013年中國(guó)產(chǎn)生的數(shù)據(jù)總量超過(guò)0.8ZB，2倍于2012年，相當(dāng)于2009年全球的數(shù)據(jù)總量。

　　其次，摩爾定律使得大數(shù)據(jù)成為可能。摩爾定律以英特爾創(chuàng)始人之一的戈登·摩爾命名，該定律認(rèn)為，同一個(gè)面積集成電路上可容納的晶體管數(shù)量，一到兩年將增加一倍。即計(jì)算機(jī)硬件的處理速度和存儲(chǔ)能力一到兩年將提升一倍。從1965年摩爾定律提出以來(lái)，硬件技術(shù)的發(fā)展基本符合摩爾定律，尤其是當(dāng)存儲(chǔ)器的性能提高的同時(shí)，硬盤價(jià)格以更快的速度下降，即大約每9個(gè)月存儲(chǔ)容量的價(jià)格就下降一半，1955年每兆字節(jié)存儲(chǔ)量需要6000多美元，而到2010年，這個(gè)價(jià)格下降到不足1美分。硬件性能的快速增加和單位存儲(chǔ)成本的大幅度下降，一方面使得數(shù)據(jù)處理速度更快、更方便，云計(jì)算技術(shù)被開(kāi)發(fā)出來(lái)；另一方面，數(shù)據(jù)處理更為便宜，使得海量的數(shù)據(jù)積累成為可能，這兩方面原因使得大數(shù)據(jù)具有了可能性。

　　第三，政府?dāng)?shù)據(jù)公開(kāi)助推大數(shù)據(jù)發(fā)展。數(shù)據(jù)分為政府?dāng)?shù)據(jù)和企業(yè)數(shù)據(jù)，并且政府?dāng)?shù)據(jù)在數(shù)據(jù)中居于關(guān)鍵性地位，大數(shù)據(jù)要真正發(fā)揮作用，政府的信息必須公開(kāi)。美國(guó)等西方發(fā)達(dá)國(guó)家大力推進(jìn)數(shù)據(jù)開(kāi)放運(yùn)動(dòng)，并于2011年9月20日，美國(guó)等8個(gè)國(guó)家在紐約發(fā)起“開(kāi)放政府聯(lián)盟”，以向本國(guó)社會(huì)開(kāi)放更多的信息。目前，該聯(lián)盟已經(jīng)有50多個(gè)會(huì)員，30多個(gè)國(guó)家建立了公共數(shù)據(jù)的開(kāi)放網(wǎng)站。2012 年3 月，奧巴馬政府公布“大數(shù)據(jù)研發(fā)計(jì)劃”，以提高和改進(jìn)人們從海量、復(fù)雜的數(shù)據(jù)中獲取知識(shí)的能力，發(fā)展收集、儲(chǔ)存、保留、管理、分析和共享海量數(shù)據(jù)所需要的核心技術(shù)，大數(shù)據(jù)成為全世界關(guān)注的焦點(diǎn)。

　　因此，可以看出，互聯(lián)網(wǎng)技術(shù)的發(fā)展與政府信息的公開(kāi)是大數(shù)據(jù)發(fā)展的前提，而云計(jì)算則是大數(shù)據(jù)的基礎(chǔ)。

　　二、大數(shù)據(jù)面面觀

　　首先，何為大數(shù)據(jù)。大數(shù)據(jù)是指服務(wù)于決策，需要新型數(shù)據(jù)處理模式才能對(duì)其內(nèi)容進(jìn)行采集、存儲(chǔ)、管理和分析的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)絕不僅僅是指規(guī)模大，其定義包括如下四層含義：一是大數(shù)據(jù)的目的是服務(wù)于決策，能夠提升決策能力；二是現(xiàn)有的處理模式不能有效處理大數(shù)據(jù)；三是大數(shù)據(jù)是一種信息資產(chǎn)，而不僅僅是一堆數(shù)據(jù)和成本，所謂信息資產(chǎn)是指其能夠?yàn)檎推髽I(yè)帶來(lái)未來(lái)經(jīng)濟(jì)利益的信息資源；四是大數(shù)據(jù)比海量數(shù)據(jù)更為復(fù)雜，海量數(shù)據(jù)包括結(jié)構(gòu)化和半結(jié)構(gòu)化的交易數(shù)據(jù)，而大數(shù)據(jù)除此以外還包括非結(jié)構(gòu)化數(shù)據(jù)和交互數(shù)據(jù)。

　　其次，大數(shù)據(jù)具有在線性、海量性、全體性、非結(jié)構(gòu)化、實(shí)時(shí)性等特點(diǎn)。一是在線性，即大數(shù)據(jù)是永遠(yuǎn)在線的，能夠隨時(shí)被調(diào)用的；二是海量性，即大數(shù)據(jù)規(guī)模巨大，當(dāng)前通常指10TB規(guī)模以上的數(shù)據(jù)量；三是全體性，即大數(shù)據(jù)采取的是全體思維，而不是樣本思維；四是非結(jié)構(gòu)化，即大數(shù)據(jù)的種類繁多，不僅包括傳統(tǒng)的關(guān)系數(shù)據(jù)，而且包括以網(wǎng)頁(yè)、視頻、音頻、e-mail、文檔等形式存在的未加工的、半結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)；五是實(shí)時(shí)性，即大數(shù)據(jù)能夠?qū)崟r(shí)反應(yīng)。例如，在Google搜索框輸入一個(gè)關(guān)鍵詞，能夠瞬間呈現(xiàn)。

　　第三，大數(shù)據(jù)代表著新的思想和思維。大數(shù)據(jù)既能處理“因果關(guān)系”又能處理“相關(guān)關(guān)系”，即不僅能夠回答“為什么”又能回答“是什么”。在小數(shù)據(jù)時(shí)代，只能通過(guò)抽樣調(diào)查的方式來(lái)回答“為什么”，而大數(shù)據(jù)則能通過(guò)全樣本的方式來(lái)回答“是什么”，即發(fā)現(xiàn)相關(guān)關(guān)系，這能夠幫助我們更好地認(rèn)識(shí)和了解世界。

　　第四，大數(shù)據(jù)的關(guān)鍵在于智能化，即能利用有效的工具對(duì)數(shù)據(jù)進(jìn)行有效的挖掘和專業(yè)化處理，進(jìn)而通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”，進(jìn)而實(shí)現(xiàn)盈利。目前，所用的方法主要有數(shù)據(jù)挖掘和對(duì)比分析，主流的相關(guān)技術(shù)主要有MapReduce(一種編程模型)和Hadoop(一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu))為代表的非關(guān)系數(shù)據(jù)分析技術(shù)。

　　第五，大數(shù)據(jù)分析相對(duì)于傳統(tǒng)辦法具有顯著的優(yōu)勢(shì)。一是大數(shù)據(jù)能夠?qū)崿F(xiàn)分析的高度智能化，即一方面實(shí)現(xiàn)信息收集和分析的智能化，另一方面實(shí)現(xiàn)數(shù)據(jù)與用戶需求的有效匹配；二是大數(shù)據(jù)分析改變之前的市場(chǎng)調(diào)研和數(shù)據(jù)分析相對(duì)滯后的模式和方式，能夠及時(shí)、迅速地進(jìn)行分析；三是由于可以大量使用技術(shù)手段，其成本相對(duì)較低。

　　第六，大數(shù)據(jù)的實(shí)施依賴于數(shù)據(jù)的可獲得度、模型是否科學(xué)和觀點(diǎn)的提煉。其一，在數(shù)據(jù)的可獲得度方面，目前在國(guó)內(nèi)，大數(shù)據(jù)的發(fā)展受制于一些政府信息的公開(kāi)性不夠，很多數(shù)據(jù)難以獲得，導(dǎo)致難以實(shí)現(xiàn)真正的大數(shù)據(jù)挖掘和分析；其二，在模型建構(gòu)方面，模型的科學(xué)性直接決定著數(shù)據(jù)分析的質(zhì)量，這就要求有高超的建模水平；其三，在觀點(diǎn)提煉方面，為決策提供依據(jù)的基于數(shù)據(jù)挖掘的獨(dú)到、高質(zhì)量的觀點(diǎn)，高度依賴于高質(zhì)量的數(shù)據(jù)解釋，這就體現(xiàn)了行業(yè)專家的價(jià)值。

　　第七，大數(shù)據(jù)與云計(jì)算有機(jī)深度融合。由于大數(shù)據(jù)需要處理大量的非結(jié)構(gòu)化數(shù)據(jù)，為云計(jì)算大規(guī)模和分布式的計(jì)算能力提供了廣闊的應(yīng)用空間，云計(jì)算已經(jīng)實(shí)現(xiàn)了數(shù)據(jù)分析即服務(wù)，二者相伴而生。此外，當(dāng)未來(lái)基于數(shù)據(jù)的語(yǔ)義網(wǎng)取代基于網(wǎng)頁(yè)的互聯(lián)網(wǎng)時(shí)，大數(shù)據(jù)必將成為我們獲取信息的主流。

　　三、大數(shù)據(jù)給傳統(tǒng)媒體業(yè)帶來(lái)的機(jī)遇與挑戰(zhàn)

　　1.大數(shù)據(jù)帶來(lái)巨大機(jī)遇

　　首先，大數(shù)據(jù)顛覆傳媒業(yè)。當(dāng)前，我們已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代，主要標(biāo)志就是已經(jīng)從內(nèi)容稀缺時(shí)代轉(zhuǎn)變?yōu)樾畔⑦^(guò)載時(shí)代，這對(duì)傳媒業(yè)帶來(lái)了革命性影響。一是信息量指數(shù)式增長(zhǎng)。相關(guān)研究表明，從2007年到2013年，人類存儲(chǔ)的數(shù)據(jù)量從300艾字節(jié)快速增加到1.2澤字節(jié)，增長(zhǎng)了數(shù)倍，而其中非數(shù)字?jǐn)?shù)據(jù)只占不到2%。二是信息內(nèi)容更加豐富。除了傳統(tǒng)媒體生產(chǎn)的原創(chuàng)內(nèi)容之外，一方面由于博客、微博、微信等很多自媒體平臺(tái)的出現(xiàn)，大量的、高質(zhì)量的自媒體內(nèi)容層出不窮；另一方面由于互聯(lián)網(wǎng)的海量空間使得以往不可能獲得版面的生活服務(wù)類信息可以傳遞給用戶，而且對(duì)于廣大用戶來(lái)講，這些資訊比新聞的用戶黏度更高。因此，新聞和內(nèi)容的稀缺性進(jìn)一步被稀釋，其價(jià)值也必然被降低，也越來(lái)越難以收費(fèi)。三是基于大數(shù)據(jù)的互聯(lián)網(wǎng)媒體正在快速顛覆傳媒業(yè)舊格局。一方面，在廣告市場(chǎng)方面。根據(jù)國(guó)家工商總局的數(shù)據(jù)，2013年，所有媒體的發(fā)布費(fèi)用為2144.13億元，其中電視為1101.10億元，同比下滑2.75%；報(bào)社為504.70億元，同比下滑9.17%?？梢钥闯?，我國(guó)互聯(lián)網(wǎng)廣告已經(jīng)成為僅次于廣電的第二大廣告市場(chǎng)，而2014年會(huì)超過(guò)廣電，成為我國(guó)第一大廣告行業(yè)。并且由于互聯(lián)網(wǎng)依然保持著40%左右的增長(zhǎng)速度，而傳統(tǒng)媒體卻呈現(xiàn)下滑趨勢(shì)，可以預(yù)測(cè)在未來(lái)5年內(nèi)，互聯(lián)網(wǎng)廣告會(huì)占據(jù)絕大多數(shù)媒體發(fā)布費(fèi)用。另一方面，互聯(lián)網(wǎng)媒體正在大量分流傳統(tǒng)媒體的用戶和人才。