大數(shù)據(jù)與傳媒業(yè)發(fā)展1_數(shù)據(jù)分析師培訓(xùn)

互聯(lián)網(wǎng)帶來了繼文字發(fā)明、古登堡印刷術(shù)、電報之后的第四次傳播革命，也帶來了繼蒸汽機的發(fā)明和電力的廣泛應(yīng)用之后的第三次工業(yè)革命，已經(jīng)成為整個社會的底層架構(gòu)和標配。大數(shù)據(jù)作為互聯(lián)網(wǎng)的一個重要方面，必將對傳媒業(yè)帶來革命性變化，這就要求傳媒業(yè)從業(yè)人員具備大數(shù)據(jù)思維，充分利用大數(shù)據(jù)技術(shù)來幫助自身實現(xiàn)跨越式發(fā)展。

　　一、信息的開放與云計算帶來了大數(shù)據(jù)

　　首先，傳播革命使得信息數(shù)量呈指數(shù)級增加。在文字發(fā)明之前，人類的傳播只能通過口口相傳，信息量極其有限，公元前4000年楔形文字出現(xiàn)之后，使得傳播可以突破時間限制而實現(xiàn)代際傳播，通過把信息記錄在龜甲、樹葉、泥土等介質(zhì)上，信息的數(shù)量開始大幅度增加。但是由于技術(shù)的制約，信息只能通過抄書人來進行記錄和傳播，導(dǎo)致信息的數(shù)量和傳播范圍都受到很大的制約。1450年，古登堡印刷術(shù)的發(fā)明使得傳播突破了范圍限制，傳播開始從精英們的“權(quán)力”轉(zhuǎn)變?yōu)槠樟_大眾的“權(quán)利”，此后的50年間，大約有800萬本書被印刷，比之前所有的手抄本還多。此后的電報技術(shù)的發(fā)明，使得傳播突破地區(qū)和時間限制，信息的數(shù)量也快速增加。而1989年，當萬維網(wǎng)出現(xiàn)之后，實現(xiàn)了即時、便捷、海量和互動的傳播，人人在接受信息的同時都可能成為自媒體，信息數(shù)量極速增加。根據(jù)ZDNET的數(shù)據(jù)顯示，2013年中國產(chǎn)生的數(shù)據(jù)總量超過0.8ZB，2倍于2012年，相當于2009年全球的數(shù)據(jù)總量。

　　其次，摩爾定律使得大數(shù)據(jù)成為可能。摩爾定律以英特爾創(chuàng)始人之一的戈登·摩爾命名，該定律認為，同一個面積集成電路上可容納的晶體管數(shù)量，一到兩年將增加一倍。即計算機硬件的處理速度和存儲能力一到兩年將提升一倍。從1965年摩爾定律提出以來，硬件技術(shù)的發(fā)展基本符合摩爾定律，尤其是當存儲器的性能提高的同時，硬盤價格以更快的速度下降，即大約每9個月存儲容量的價格就下降一半，1955年每兆字節(jié)存儲量需要6000多美元，而到2010年，這個價格下降到不足1美分。硬件性能的快速增加和單位存儲成本的大幅度下降，一方面使得數(shù)據(jù)處理速度更快、更方便，云計算技術(shù)被開發(fā)出來；另一方面，數(shù)據(jù)處理更為便宜，使得海量的數(shù)據(jù)積累成為可能，這兩方面原因使得大數(shù)據(jù)具有了可能性。

　　第三，政府數(shù)據(jù)公開助推大數(shù)據(jù)發(fā)展。數(shù)據(jù)分為政府數(shù)據(jù)和企業(yè)數(shù)據(jù)，并且政府數(shù)據(jù)在數(shù)據(jù)中居于關(guān)鍵性地位，大數(shù)據(jù)要真正發(fā)揮作用，政府的信息必須公開。美國等西方發(fā)達國家大力推進數(shù)據(jù)開放運動，并于2011年9月20日，美國等8個國家在紐約發(fā)起“開放政府聯(lián)盟”，以向本國社會開放更多的信息。目前，該聯(lián)盟已經(jīng)有50多個會員，30多個國家建立了公共數(shù)據(jù)的開放網(wǎng)站。2012 年3 月，奧巴馬政府公布“大數(shù)據(jù)研發(fā)計劃”，以提高和改進人們從海量、復(fù)雜的數(shù)據(jù)中獲取知識的能力，發(fā)展收集、儲存、保留、管理、分析和共享海量數(shù)據(jù)所需要的核心技術(shù)，大數(shù)據(jù)成為全世界關(guān)注的焦點。

　　因此，可以看出，互聯(lián)網(wǎng)技術(shù)的發(fā)展與政府信息的公開是大數(shù)據(jù)發(fā)展的前提，而云計算則是大數(shù)據(jù)的基礎(chǔ)。

　　二、大數(shù)據(jù)面面觀

　　首先，何為大數(shù)據(jù)。大數(shù)據(jù)是指服務(wù)于決策，需要新型數(shù)據(jù)處理模式才能對其內(nèi)容進行采集、存儲、管理和分析的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)絕不僅僅是指規(guī)模大，其定義包括如下四層含義：一是大數(shù)據(jù)的目的是服務(wù)于決策，能夠提升決策能力；二是現(xiàn)有的處理模式不能有效處理大數(shù)據(jù)；三是大數(shù)據(jù)是一種信息資產(chǎn)，而不僅僅是一堆數(shù)據(jù)和成本，所謂信息資產(chǎn)是指其能夠為政府和企業(yè)帶來未來經(jīng)濟利益的信息資源；四是大數(shù)據(jù)比海量數(shù)據(jù)更為復(fù)雜，海量數(shù)據(jù)包括結(jié)構(gòu)化和半結(jié)構(gòu)化的交易數(shù)據(jù)，而大數(shù)據(jù)除此以外還包括非結(jié)構(gòu)化數(shù)據(jù)和交互數(shù)據(jù)。

　　其次，大數(shù)據(jù)具有在線性、海量性、全體性、非結(jié)構(gòu)化、實時性等特點。一是在線性，即大數(shù)據(jù)是永遠在線的，能夠隨時被調(diào)用的；二是海量性，即大數(shù)據(jù)規(guī)模巨大，當前通常指10TB規(guī)模以上的數(shù)據(jù)量；三是全體性，即大數(shù)據(jù)采取的是全體思維，而不是樣本思維；四是非結(jié)構(gòu)化，即大數(shù)據(jù)的種類繁多，不僅包括傳統(tǒng)的關(guān)系數(shù)據(jù)，而且包括以網(wǎng)頁、視頻、音頻、e-mail、文檔等形式存在的未加工的、半結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)；五是實時性，即大數(shù)據(jù)能夠?qū)崟r反應(yīng)。例如，在Google搜索框輸入一個關(guān)鍵詞，能夠瞬間呈現(xiàn)。

　　第三，大數(shù)據(jù)代表著新的思想和思維。大數(shù)據(jù)既能處理“因果關(guān)系”又能處理“相關(guān)關(guān)系”，即不僅能夠回答“為什么”又能回答“是什么”。在小數(shù)據(jù)時代，只能通過抽樣調(diào)查的方式來回答“為什么”，而大數(shù)據(jù)則能通過全樣本的方式來回答“是什么”，即發(fā)現(xiàn)相關(guān)關(guān)系，這能夠幫助我們更好地認識和了解世界。

　　第四，大數(shù)據(jù)的關(guān)鍵在于智能化，即能利用有效的工具對數(shù)據(jù)進行有效的挖掘和專業(yè)化處理，進而通過“加工”實現(xiàn)數(shù)據(jù)的“增值”，進而實現(xiàn)盈利。目前，所用的方法主要有數(shù)據(jù)挖掘和對比分析，主流的相關(guān)技術(shù)主要有MapReduce(一種編程模型)和Hadoop(一個分布式系統(tǒng)基礎(chǔ)架構(gòu))為代表的非關(guān)系數(shù)據(jù)分析技術(shù)。

　　第五，大數(shù)據(jù)分析相對于傳統(tǒng)辦法具有顯著的優(yōu)勢。一是大數(shù)據(jù)能夠?qū)崿F(xiàn)分析的高度智能化，即一方面實現(xiàn)信息收集和分析的智能化，另一方面實現(xiàn)數(shù)據(jù)與用戶需求的有效匹配；二是大數(shù)據(jù)分析改變之前的市場調(diào)研和數(shù)據(jù)分析相對滯后的模式和方式，能夠及時、迅速地進行分析；三是由于可以大量使用技術(shù)手段，其成本相對較低。

　　第六，大數(shù)據(jù)的實施依賴于數(shù)據(jù)的可獲得度、模型是否科學(xué)和觀點的提煉。其一，在數(shù)據(jù)的可獲得度方面，目前在國內(nèi)，大數(shù)據(jù)的發(fā)展受制于一些政府信息的公開性不夠，很多數(shù)據(jù)難以獲得，導(dǎo)致難以實現(xiàn)真正的大數(shù)據(jù)挖掘和分析；其二，在模型建構(gòu)方面，模型的科學(xué)性直接決定著數(shù)據(jù)分析的質(zhì)量，這就要求有高超的建模水平；其三，在觀點提煉方面，為決策提供依據(jù)的基于數(shù)據(jù)挖掘的獨到、高質(zhì)量的觀點，高度依賴于高質(zhì)量的數(shù)據(jù)解釋，這就體現(xiàn)了行業(yè)專家的價值。

　　第七，大數(shù)據(jù)與云計算有機深度融合。由于大數(shù)據(jù)需要處理大量的非結(jié)構(gòu)化數(shù)據(jù)，為云計算大規(guī)模和分布式的計算能力提供了廣闊的應(yīng)用空間，云計算已經(jīng)實現(xiàn)了數(shù)據(jù)分析即服務(wù)，二者相伴而生。此外，當未來基于數(shù)據(jù)的語義網(wǎng)取代基于網(wǎng)頁的互聯(lián)網(wǎng)時，大數(shù)據(jù)必將成為我們獲取信息的主流。

　　三、大數(shù)據(jù)給傳統(tǒng)媒體業(yè)帶來的機遇與挑戰(zhàn)

　　1.大數(shù)據(jù)帶來巨大機遇

　　首先，大數(shù)據(jù)顛覆傳媒業(yè)。當前，我們已經(jīng)進入大數(shù)據(jù)時代，主要標志就是已經(jīng)從內(nèi)容稀缺時代轉(zhuǎn)變?yōu)樾畔⑦^載時代，這對傳媒業(yè)帶來了革命性影響。一是信息量指數(shù)式增長。相關(guān)研究表明，從2007年到2013年，人類存儲的數(shù)據(jù)量從300艾字節(jié)快速增加到1.2澤字節(jié)，增長了數(shù)倍，而其中非數(shù)字數(shù)據(jù)只占不到2%。二是信息內(nèi)容更加豐富。除了傳統(tǒng)媒體生產(chǎn)的原創(chuàng)內(nèi)容之外，一方面由于博客、微博、微信等很多自媒體平臺的出現(xiàn)，大量的、高質(zhì)量的自媒體內(nèi)容層出不窮；另一方面由于互聯(lián)網(wǎng)的海量空間使得以往不可能獲得版面的生活服務(wù)類信息可以傳遞給用戶，而且對于廣大用戶來講，這些資訊比新聞的用戶黏度更高。因此，新聞和內(nèi)容的稀缺性進一步被稀釋，其價值也必然被降低，也越來越難以收費。三是基于大數(shù)據(jù)的互聯(lián)網(wǎng)媒體正在快速顛覆傳媒業(yè)舊格局。一方面，在廣告市場方面。根據(jù)國家工商總局的數(shù)據(jù)，2013年，所有媒體的發(fā)布費用為2144.13億元，其中電視為1101.10億元，同比下滑2.75%；報社為504.70億元，同比下滑9.17%?？梢钥闯觯覈ヂ?lián)網(wǎng)廣告已經(jīng)成為僅次于廣電的第二大廣告市場，而2014年會超過廣電，成為我國第一大廣告行業(yè)。并且由于互聯(lián)網(wǎng)依然保持著40%左右的增長速度，而傳統(tǒng)媒體卻呈現(xiàn)下滑趨勢，可以預(yù)測在未來5年內(nèi)，互聯(lián)網(wǎng)廣告會占據(jù)絕大多數(shù)媒體發(fā)布費用。另一方面，互聯(lián)網(wǎng)媒體正在大量分流傳統(tǒng)媒體的用戶和人才。