
大數(shù)據(jù):從“技術(shù)驅(qū)動(dòng)”轉(zhuǎn)向“應(yīng)用驅(qū)動(dòng)”
繼物聯(lián)網(wǎng)、云計(jì)算之后,大數(shù)據(jù)已經(jīng)成為當(dāng)前信息技術(shù)產(chǎn)業(yè)最受關(guān)注的概念之一。大數(shù)據(jù)時(shí)代的來(lái)臨,使得領(lǐng)域和行業(yè)邊界愈加模糊,應(yīng)用創(chuàng)新超越技術(shù)本身,生產(chǎn)模式向服務(wù)化轉(zhuǎn)變,數(shù)據(jù)作為一種資產(chǎn)為企業(yè)帶來(lái)新商業(yè)價(jià)值,數(shù)據(jù)開(kāi)放讓政府治理和個(gè)人福祉都面臨著機(jī)遇和挑戰(zhàn)……無(wú)論個(gè)人、企業(yè)組織、社會(huì)團(tuán)體,還是國(guó)家和經(jīng)濟(jì)體,都能藉此實(shí)現(xiàn)大數(shù)據(jù)夢(mèng)想。
當(dāng)前,全球大數(shù)據(jù)產(chǎn)業(yè)正處于蓬勃發(fā)展的孕育期和機(jī)遇期。核心關(guān)鍵技術(shù)正在加快發(fā)展和更新?lián)Q代,各類(lèi)解決方案提供商加大力度宣傳造勢(shì),尤其是圍繞電信、航空、交通、生物、城市管理等重點(diǎn)領(lǐng)域描繪美好藍(lán)圖,力求推動(dòng)行業(yè)應(yīng)用和商業(yè)模式創(chuàng)新,搶占產(chǎn)業(yè)增長(zhǎng)點(diǎn)。與此同時(shí),小微企業(yè)和創(chuàng)業(yè)者對(duì)大數(shù)據(jù)熱情高漲,期望借此機(jī)會(huì)實(shí)現(xiàn)高速成長(zhǎng)的夢(mèng)想。由于整個(gè)大數(shù)據(jù)產(chǎn)業(yè)開(kāi)始轉(zhuǎn)向應(yīng)用創(chuàng)新階段,高成長(zhǎng)的預(yù)期讓各方都對(duì)未來(lái)抱以樂(lè)觀的態(tài)度。
從“技術(shù)驅(qū)動(dòng)”轉(zhuǎn)向“應(yīng)用驅(qū)動(dòng)”
作為一個(gè)獨(dú)立的產(chǎn)業(yè),大數(shù)據(jù)的產(chǎn)業(yè)體系框架表現(xiàn)為“兩縱三橫”:“兩縱”基于技術(shù)的基礎(chǔ)程度,分為底層技術(shù)和應(yīng)用層技術(shù),前者是共性、基礎(chǔ)性技術(shù),如Hadoop框架、Hbase數(shù)據(jù)庫(kù)、Mahout算法集等;后者是“二次開(kāi)發(fā)”行為,包括各類(lèi)個(gè)性化方案、產(chǎn)品與服務(wù)?!叭龣M”基于處理的流程順序,分為基礎(chǔ)設(shè)施、分析系統(tǒng)和應(yīng)用工具,也可進(jìn)一步細(xì)化為數(shù)據(jù)的采集、存儲(chǔ)、處理、分析、服務(wù)五方面。目前,“兩縱三橫”的產(chǎn)業(yè)體系已經(jīng)趨于成熟,能夠應(yīng)對(duì)絕大多數(shù)的產(chǎn)業(yè)應(yīng)用需求。
廣義的大數(shù)據(jù)應(yīng)用本質(zhì)上是一種“增值分析”,前景有著近似無(wú)限的可能,不受任何行業(yè)、資源、地域、用戶(hù)的約束。從這個(gè)層面看,各產(chǎn)業(yè)領(lǐng)域未來(lái)發(fā)展方向幾乎都能和大數(shù)據(jù)掛鉤。以“十二五”國(guó)家戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃為例,很多技術(shù)前沿的描述和布局,均與大數(shù)據(jù)相一致或關(guān)聯(lián),或是可以通過(guò)大數(shù)據(jù)實(shí)現(xiàn)。如新一代信息技術(shù)產(chǎn)業(yè)布局了物聯(lián)網(wǎng)、移動(dòng)終端設(shè)備、云計(jì)算、海量數(shù)據(jù)處理軟件;節(jié)能環(huán)保產(chǎn)業(yè)布局了高效儲(chǔ)能、節(jié)能監(jiān)測(cè)和能源計(jì)量;生物醫(yī)藥產(chǎn)業(yè)布局了生物資源樣本庫(kù)、基因測(cè)序,以及基于物聯(lián)網(wǎng)的遠(yuǎn)程健康管理服務(wù)等。
由于大數(shù)據(jù)技術(shù)興起于互聯(lián)網(wǎng)時(shí)代,互聯(lián)網(wǎng)的快速發(fā)展與其持有的開(kāi)放、共享、合作等觀念密切相關(guān),因而大數(shù)據(jù)技術(shù)的創(chuàng)新也引入了互聯(lián)網(wǎng)的這種價(jià)值觀。例如有不少大數(shù)據(jù)技術(shù)是開(kāi)源的,可無(wú)償供給全世界的開(kāi)發(fā)者使用和改進(jìn)。開(kāi)源項(xiàng)目、開(kāi)源社區(qū)和開(kāi)放性創(chuàng)新聯(lián)盟組織的成熟更是推動(dòng)了大數(shù)據(jù)核心技術(shù)的發(fā)展,催生了多種用于存儲(chǔ)、處理和分析大數(shù)據(jù)的新產(chǎn)品。這一過(guò)程有效降低了產(chǎn)業(yè)技術(shù)的壁壘,推動(dòng)更多的企業(yè)和創(chuàng)業(yè)者介入,進(jìn)一步加快了技術(shù)應(yīng)用轉(zhuǎn)化的過(guò)程,有助于產(chǎn)業(yè)的迅速成長(zhǎng)。
雖然大數(shù)據(jù)產(chǎn)業(yè)的“技術(shù)驅(qū)動(dòng)”色彩十分明顯,與“應(yīng)用驅(qū)動(dòng)”階段尚有一段距離,但這一轉(zhuǎn)變過(guò)程正在加速進(jìn)行。
細(xì)化的產(chǎn)業(yè)競(jìng)爭(zhēng)策略逐步成型
大數(shù)據(jù)產(chǎn)業(yè)是典型的知識(shí)密集型服務(wù)業(yè),除了基礎(chǔ)設(shè)施環(huán)節(jié)會(huì)帶來(lái)一定能耗之外,其余環(huán)節(jié)均為零能耗、高附加值。其在初始資本、法規(guī)監(jiān)管等方面的準(zhǔn)入門(mén)檻極低,但對(duì)人才資源的要求較高。為此,產(chǎn)業(yè)競(jìng)爭(zhēng)呈現(xiàn)出數(shù)量大、水平高的特點(diǎn),企業(yè)競(jìng)爭(zhēng)策略逐步分化。
盡管大數(shù)據(jù)從業(yè)者正在急劇增加--幾乎所有的信息技術(shù)企業(yè)都在此領(lǐng)域布局,同時(shí)創(chuàng)業(yè)者持續(xù)不斷地進(jìn)入,競(jìng)爭(zhēng)者甚多,然而由此帶來(lái)的并非過(guò)度競(jìng)爭(zhēng),而是良性競(jìng)爭(zhēng),最終將推動(dòng)技術(shù)的創(chuàng)新和價(jià)值的實(shí)現(xiàn)。
這主要?dú)w功于兩個(gè)原因:一是高創(chuàng)新的屬性。大數(shù)據(jù)技術(shù)是信息技術(shù)領(lǐng)域中的高附加值環(huán)節(jié),以谷歌、亞馬遜等為代表的大數(shù)據(jù)企業(yè),無(wú)論是在技術(shù)先進(jìn)性、創(chuàng)新活躍度還是在市場(chǎng)份額上,都在全球處于領(lǐng)先位置。二是高增長(zhǎng)的預(yù)期。作為企業(yè)個(gè)體,在產(chǎn)業(yè)急速成長(zhǎng)的預(yù)期之下,基本都選擇了追求專(zhuān)業(yè)性的策略,依靠產(chǎn)品性能和服務(wù)取勝,而擯棄了追求低成本的策略。
在競(jìng)爭(zhēng)過(guò)程中,不同類(lèi)型的競(jìng)爭(zhēng)者各具優(yōu)勢(shì)。按照技術(shù)的變革性與應(yīng)用水平,主要分化為三類(lèi)競(jìng)爭(zhēng)者:一是“互聯(lián)網(wǎng)顛覆者”,谷歌以及各類(lèi)大數(shù)據(jù)開(kāi)源項(xiàng)目發(fā)展了全新的基礎(chǔ)技術(shù)與數(shù)據(jù)庫(kù)構(gòu)架,依靠免費(fèi)、開(kāi)源的所謂互聯(lián)網(wǎng)模式,徹底改變了原有的技術(shù)標(biāo)準(zhǔn)與游戲規(guī)則,顛覆了以往各自為陣的信息技術(shù)產(chǎn)業(yè)。
二是“初生牛犢”,在新的規(guī)則面前,大公司與創(chuàng)業(yè)者處在同一條起跑線上,一些擁有核心人才與市場(chǎng)嗅覺(jué)的創(chuàng)業(yè)企業(yè),在特定工具、專(zhuān)業(yè)平臺(tái)方面迅速搶占先機(jī),填補(bǔ)市場(chǎng)空白,獲得快速發(fā)展,在產(chǎn)業(yè)鏈中擁有了一席之地。
三是“系統(tǒng)集成商”,像微軟、IBM這樣的傳統(tǒng)IT巨頭擁有強(qiáng)大的資金、研發(fā)能力和市場(chǎng)資源。他們能夠敏銳意識(shí)到自我革命的緊迫性并馬上采取應(yīng)對(duì)舉措,積極收購(gòu)大數(shù)據(jù)相關(guān)企業(yè),將收購(gòu)獲得的技術(shù)產(chǎn)品組裝為面向行業(yè)的應(yīng)用解決方案,并加強(qiáng)大數(shù)據(jù)商業(yè)營(yíng)銷(xiāo)。
另外,政府也是大數(shù)據(jù)產(chǎn)業(yè)的重要一環(huán),主要體現(xiàn)在政府對(duì)公共數(shù)據(jù)的開(kāi)放上這將使政府在促進(jìn)產(chǎn)業(yè)發(fā)展上扮演更加重要的角色。
2009年,剛上任的美國(guó)總統(tǒng)奧巴馬簽署的首份總統(tǒng)備忘錄即為《透明和開(kāi)放的政府》,隨后建立了統(tǒng)一的政府?dāng)?shù)據(jù)開(kāi)放門(mén)戶(hù)網(wǎng)站:Data.Gov,逐步開(kāi)放政府擁有的公共數(shù)據(jù),并提供多種應(yīng)用程序接口,供開(kāi)發(fā)者創(chuàng)建特色應(yīng)用。截至2014年初,該網(wǎng)站開(kāi)放的數(shù)據(jù)集已經(jīng)超過(guò)了85000項(xiàng),匯集了1200余個(gè)應(yīng)用程序和軟件工具、手機(jī)插件,其中超過(guò)300個(gè)是由個(gè)人或民間組織開(kāi)發(fā)。新的商業(yè)模式和企業(yè)隨之產(chǎn)生,如FlightCaster公司基于美國(guó)交通統(tǒng)計(jì)局、聯(lián)邦航空局交通管制中心警報(bào)、美國(guó)氣象局和航班運(yùn)行狀況信息網(wǎng)站FlightStats的數(shù)據(jù),提供航班晚點(diǎn)預(yù)報(bào),比航空公司的正式通知早6個(gè)小時(shí),且準(zhǔn)確率達(dá)到85%-90%.
數(shù)據(jù)驅(qū)動(dòng)型的商業(yè)模式創(chuàng)新
數(shù)據(jù)驅(qū)動(dòng)型的商業(yè)模式有如雨后春筍,在全球大量涌現(xiàn)。按照數(shù)據(jù)的獲取、管理、分析、應(yīng)用環(huán)節(jié)的區(qū)分方式,可以將大數(shù)據(jù)的商業(yè)模式分為數(shù)據(jù)托管和交易平臺(tái)、關(guān)系挖掘和沉淀價(jià)值利用、數(shù)據(jù)社交和跨界連接三種類(lèi)型。
數(shù)據(jù)托管和交易平臺(tái)模式應(yīng)用已有數(shù)十年之久,是發(fā)展最為成熟、最為普遍的大數(shù)據(jù)商業(yè)模式,本質(zhì)是發(fā)揮規(guī)模效應(yīng),降低單個(gè)企業(yè)在數(shù)據(jù)信息存儲(chǔ)和尋找上的投入成本。主要業(yè)務(wù)形態(tài)有空間出租托管、數(shù)據(jù)商店、數(shù)據(jù)市場(chǎng)等,典型的代表企業(yè)為亞馬遜、EMC2、DropBox.
近年來(lái)引入“云”的概念,從簡(jiǎn)單的數(shù)據(jù)存儲(chǔ),逐步擴(kuò)展到數(shù)據(jù)聚合平臺(tái),最終形成云服務(wù);而以獨(dú)特?cái)?shù)據(jù)資源進(jìn)行的整合朝著縱向產(chǎn)業(yè)鏈上下游整合和橫向多種產(chǎn)業(yè)整合兩個(gè)方向發(fā)展,促使了一站式數(shù)據(jù)商店和數(shù)據(jù)交易平臺(tái)的出現(xiàn)。如亞馬遜、微軟等企業(yè)均建立了可以交易應(yīng)用程序和高級(jí)數(shù)據(jù)集的數(shù)據(jù)商店,目前已有數(shù)萬(wàn)億個(gè)數(shù)據(jù)點(diǎn)、數(shù)千個(gè)訂閱、數(shù)百個(gè)應(yīng)用程序。
關(guān)系挖掘是媒體熱炒的主流大數(shù)據(jù)商業(yè)模式,也是數(shù)據(jù)科學(xué)的主要應(yīng)用模式。核心是通過(guò)數(shù)據(jù)發(fā)現(xiàn)隱藏的相關(guān)性,最終用于指導(dǎo)商業(yè)、精準(zhǔn)化服務(wù)與輔助決策。
實(shí)現(xiàn)這種模式需要一些先決條件,主要是面向數(shù)據(jù)的處理分析環(huán)節(jié):一是目標(biāo)領(lǐng)域的完全量化,如互聯(lián)網(wǎng)廣告領(lǐng)域,從廣告點(diǎn)擊到用戶(hù)購(gòu)買(mǎi)行為,均有完整詳實(shí)的數(shù)據(jù)記錄;二是數(shù)據(jù)處理能力的大幅提升,要能夠處理非關(guān)系型數(shù)據(jù),并在海量條件下保持實(shí)時(shí)快速的性能。該模式的難點(diǎn)在于需要顛覆常規(guī)的用戶(hù)思維和需求邏輯,典型類(lèi)型是沉淀價(jià)值的利用,將一些通常無(wú)意義的數(shù)據(jù)甚至是垃圾數(shù)據(jù)進(jìn)行利用,最終得出有價(jià)值的結(jié)論。
例如,谷歌公司利用數(shù)十億用戶(hù)搜索時(shí)的錯(cuò)誤拼寫(xiě)記錄來(lái)提升其拼寫(xiě)檢查器的智能性。就目前而言,基于關(guān)系挖掘的大數(shù)據(jù)模式尚未成熟,但承載了社會(huì)各界的較高期望:這種模式將有助于驅(qū)動(dòng)產(chǎn)業(yè)轉(zhuǎn)型和發(fā)展新興產(chǎn)業(yè),如推動(dòng)生物醫(yī)藥等研發(fā)密集型產(chǎn)業(yè)、企業(yè)咨詢(xún)等知識(shí)密集型產(chǎn)業(yè)向數(shù)據(jù)密集型產(chǎn)業(yè)轉(zhuǎn)型,推動(dòng)零售、交通等傳統(tǒng)服務(wù)業(yè)向現(xiàn)代服務(wù)業(yè)轉(zhuǎn)型,推動(dòng)傳統(tǒng)制造業(yè)向智能制造業(yè)轉(zhuǎn)型等。
與前兩種模式不同,數(shù)據(jù)社交和跨界連接模式直接面向每一個(gè)社會(huì)個(gè)體,本質(zhì)上是充分挖掘物理世界的個(gè)體資源,將其變成虛擬世界的一個(gè)節(jié)點(diǎn),與其他的節(jié)點(diǎn)進(jìn)行連接、交互和交易,從而大大降低各類(lèi)商業(yè)化業(yè)務(wù)的推廣成本,并形成新興業(yè)態(tài)。這種模式正在走向成熟,最典型的代表就是O2O.
例如微信成為了連接線上線下、開(kāi)展移動(dòng)支付的重要入口;打車(chē)軟件有效降低了供需雙方的信息不對(duì)稱(chēng),提升了出租車(chē)市場(chǎng)的智能化程度;可穿戴設(shè)備將人體的訊息進(jìn)一步量化,并提供決策建議;蘋(píng)果Passbook軟件為用戶(hù)提供了一個(gè)智能的電子卡包。推行這種模式也有幾個(gè)必要條件,主要是針對(duì)數(shù)據(jù)的采集傳輸環(huán)節(jié):移動(dòng)化,需要帶有位置服務(wù)、能夠發(fā)射無(wú)線信號(hào)的智能終端;穩(wěn)定連接,需要高速、泛在的外部網(wǎng)絡(luò)環(huán)境;在線支付,依靠用戶(hù)最終的支付行為實(shí)現(xiàn)盈利;持續(xù)感知能力,需要先進(jìn)的傳感器技術(shù)、低功耗芯片技術(shù)以及電池技術(shù)作為保障。
數(shù)據(jù)分析咨詢(xún)請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶(hù) ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱(chēng) BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢(xún)到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢(xún)結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢(xún)結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專(zhuān)注于從單 ...
2025-07-09year_month數(shù)據(jù)類(lèi)型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類(lèi)型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門(mén)控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書(shū)考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專(zhuān)業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開(kāi)啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03