
大數(shù)據(jù):從“技術(shù)驅(qū)動”轉(zhuǎn)向“應(yīng)用驅(qū)動”
繼物聯(lián)網(wǎng)、云計算之后,大數(shù)據(jù)已經(jīng)成為當前信息技術(shù)產(chǎn)業(yè)最受關(guān)注的概念之一。大數(shù)據(jù)時代的來臨,使得領(lǐng)域和行業(yè)邊界愈加模糊,應(yīng)用創(chuàng)新超越技術(shù)本身,生產(chǎn)模式向服務(wù)化轉(zhuǎn)變,數(shù)據(jù)作為一種資產(chǎn)為企業(yè)帶來新商業(yè)價值,數(shù)據(jù)開放讓政府治理和個人福祉都面臨著機遇和挑戰(zhàn)……無論個人、企業(yè)組織、社會團體,還是國家和經(jīng)濟體,都能藉此實現(xiàn)大數(shù)據(jù)夢想。
當前,全球大數(shù)據(jù)產(chǎn)業(yè)正處于蓬勃發(fā)展的孕育期和機遇期。核心關(guān)鍵技術(shù)正在加快發(fā)展和更新?lián)Q代,各類解決方案提供商加大力度宣傳造勢,尤其是圍繞電信、航空、交通、生物、城市管理等重點領(lǐng)域描繪美好藍圖,力求推動行業(yè)應(yīng)用和商業(yè)模式創(chuàng)新,搶占產(chǎn)業(yè)增長點。與此同時,小微企業(yè)和創(chuàng)業(yè)者對大數(shù)據(jù)熱情高漲,期望借此機會實現(xiàn)高速成長的夢想。由于整個大數(shù)據(jù)產(chǎn)業(yè)開始轉(zhuǎn)向應(yīng)用創(chuàng)新階段,高成長的預(yù)期讓各方都對未來抱以樂觀的態(tài)度。
從“技術(shù)驅(qū)動”轉(zhuǎn)向“應(yīng)用驅(qū)動”
作為一個獨立的產(chǎn)業(yè),大數(shù)據(jù)的產(chǎn)業(yè)體系框架表現(xiàn)為“兩縱三橫”:“兩縱”基于技術(shù)的基礎(chǔ)程度,分為底層技術(shù)和應(yīng)用層技術(shù),前者是共性、基礎(chǔ)性技術(shù),如Hadoop框架、Hbase數(shù)據(jù)庫、Mahout算法集等;后者是“二次開發(fā)”行為,包括各類個性化方案、產(chǎn)品與服務(wù)?!叭龣M”基于處理的流程順序,分為基礎(chǔ)設(shè)施、分析系統(tǒng)和應(yīng)用工具,也可進一步細化為數(shù)據(jù)的采集、存儲、處理、分析、服務(wù)五方面。目前,“兩縱三橫”的產(chǎn)業(yè)體系已經(jīng)趨于成熟,能夠應(yīng)對絕大多數(shù)的產(chǎn)業(yè)應(yīng)用需求。
廣義的大數(shù)據(jù)應(yīng)用本質(zhì)上是一種“增值分析”,前景有著近似無限的可能,不受任何行業(yè)、資源、地域、用戶的約束。從這個層面看,各產(chǎn)業(yè)領(lǐng)域未來發(fā)展方向幾乎都能和大數(shù)據(jù)掛鉤。以“十二五”國家戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃為例,很多技術(shù)前沿的描述和布局,均與大數(shù)據(jù)相一致或關(guān)聯(lián),或是可以通過大數(shù)據(jù)實現(xiàn)。如新一代信息技術(shù)產(chǎn)業(yè)布局了物聯(lián)網(wǎng)、移動終端設(shè)備、云計算、海量數(shù)據(jù)處理軟件;節(jié)能環(huán)保產(chǎn)業(yè)布局了高效儲能、節(jié)能監(jiān)測和能源計量;生物醫(yī)藥產(chǎn)業(yè)布局了生物資源樣本庫、基因測序,以及基于物聯(lián)網(wǎng)的遠程健康管理服務(wù)等。
由于大數(shù)據(jù)技術(shù)興起于互聯(lián)網(wǎng)時代,互聯(lián)網(wǎng)的快速發(fā)展與其持有的開放、共享、合作等觀念密切相關(guān),因而大數(shù)據(jù)技術(shù)的創(chuàng)新也引入了互聯(lián)網(wǎng)的這種價值觀。例如有不少大數(shù)據(jù)技術(shù)是開源的,可無償供給全世界的開發(fā)者使用和改進。開源項目、開源社區(qū)和開放性創(chuàng)新聯(lián)盟組織的成熟更是推動了大數(shù)據(jù)核心技術(shù)的發(fā)展,催生了多種用于存儲、處理和分析大數(shù)據(jù)的新產(chǎn)品。這一過程有效降低了產(chǎn)業(yè)技術(shù)的壁壘,推動更多的企業(yè)和創(chuàng)業(yè)者介入,進一步加快了技術(shù)應(yīng)用轉(zhuǎn)化的過程,有助于產(chǎn)業(yè)的迅速成長。
雖然大數(shù)據(jù)產(chǎn)業(yè)的“技術(shù)驅(qū)動”色彩十分明顯,與“應(yīng)用驅(qū)動”階段尚有一段距離,但這一轉(zhuǎn)變過程正在加速進行。
細化的產(chǎn)業(yè)競爭策略逐步成型
大數(shù)據(jù)產(chǎn)業(yè)是典型的知識密集型服務(wù)業(yè),除了基礎(chǔ)設(shè)施環(huán)節(jié)會帶來一定能耗之外,其余環(huán)節(jié)均為零能耗、高附加值。其在初始資本、法規(guī)監(jiān)管等方面的準入門檻極低,但對人才資源的要求較高。為此,產(chǎn)業(yè)競爭呈現(xiàn)出數(shù)量大、水平高的特點,企業(yè)競爭策略逐步分化。
盡管大數(shù)據(jù)從業(yè)者正在急劇增加--幾乎所有的信息技術(shù)企業(yè)都在此領(lǐng)域布局,同時創(chuàng)業(yè)者持續(xù)不斷地進入,競爭者甚多,然而由此帶來的并非過度競爭,而是良性競爭,最終將推動技術(shù)的創(chuàng)新和價值的實現(xiàn)。
這主要歸功于兩個原因:一是高創(chuàng)新的屬性。大數(shù)據(jù)技術(shù)是信息技術(shù)領(lǐng)域中的高附加值環(huán)節(jié),以谷歌、亞馬遜等為代表的大數(shù)據(jù)企業(yè),無論是在技術(shù)先進性、創(chuàng)新活躍度還是在市場份額上,都在全球處于領(lǐng)先位置。二是高增長的預(yù)期。作為企業(yè)個體,在產(chǎn)業(yè)急速成長的預(yù)期之下,基本都選擇了追求專業(yè)性的策略,依靠產(chǎn)品性能和服務(wù)取勝,而擯棄了追求低成本的策略。
在競爭過程中,不同類型的競爭者各具優(yōu)勢。按照技術(shù)的變革性與應(yīng)用水平,主要分化為三類競爭者:一是“互聯(lián)網(wǎng)顛覆者”,谷歌以及各類大數(shù)據(jù)開源項目發(fā)展了全新的基礎(chǔ)技術(shù)與數(shù)據(jù)庫構(gòu)架,依靠免費、開源的所謂互聯(lián)網(wǎng)模式,徹底改變了原有的技術(shù)標準與游戲規(guī)則,顛覆了以往各自為陣的信息技術(shù)產(chǎn)業(yè)。
二是“初生牛犢”,在新的規(guī)則面前,大公司與創(chuàng)業(yè)者處在同一條起跑線上,一些擁有核心人才與市場嗅覺的創(chuàng)業(yè)企業(yè),在特定工具、專業(yè)平臺方面迅速搶占先機,填補市場空白,獲得快速發(fā)展,在產(chǎn)業(yè)鏈中擁有了一席之地。
三是“系統(tǒng)集成商”,像微軟、IBM這樣的傳統(tǒng)IT巨頭擁有強大的資金、研發(fā)能力和市場資源。他們能夠敏銳意識到自我革命的緊迫性并馬上采取應(yīng)對舉措,積極收購大數(shù)據(jù)相關(guān)企業(yè),將收購獲得的技術(shù)產(chǎn)品組裝為面向行業(yè)的應(yīng)用解決方案,并加強大數(shù)據(jù)商業(yè)營銷。
另外,政府也是大數(shù)據(jù)產(chǎn)業(yè)的重要一環(huán),主要體現(xiàn)在政府對公共數(shù)據(jù)的開放上這將使政府在促進產(chǎn)業(yè)發(fā)展上扮演更加重要的角色。
2009年,剛上任的美國總統(tǒng)奧巴馬簽署的首份總統(tǒng)備忘錄即為《透明和開放的政府》,隨后建立了統(tǒng)一的政府數(shù)據(jù)開放門戶網(wǎng)站:Data.Gov,逐步開放政府擁有的公共數(shù)據(jù),并提供多種應(yīng)用程序接口,供開發(fā)者創(chuàng)建特色應(yīng)用。截至2014年初,該網(wǎng)站開放的數(shù)據(jù)集已經(jīng)超過了85000項,匯集了1200余個應(yīng)用程序和軟件工具、手機插件,其中超過300個是由個人或民間組織開發(fā)。新的商業(yè)模式和企業(yè)隨之產(chǎn)生,如FlightCaster公司基于美國交通統(tǒng)計局、聯(lián)邦航空局交通管制中心警報、美國氣象局和航班運行狀況信息網(wǎng)站FlightStats的數(shù)據(jù),提供航班晚點預(yù)報,比航空公司的正式通知早6個小時,且準確率達到85%-90%.
數(shù)據(jù)驅(qū)動型的商業(yè)模式創(chuàng)新
數(shù)據(jù)驅(qū)動型的商業(yè)模式有如雨后春筍,在全球大量涌現(xiàn)。按照數(shù)據(jù)的獲取、管理、分析、應(yīng)用環(huán)節(jié)的區(qū)分方式,可以將大數(shù)據(jù)的商業(yè)模式分為數(shù)據(jù)托管和交易平臺、關(guān)系挖掘和沉淀價值利用、數(shù)據(jù)社交和跨界連接三種類型。
數(shù)據(jù)托管和交易平臺模式應(yīng)用已有數(shù)十年之久,是發(fā)展最為成熟、最為普遍的大數(shù)據(jù)商業(yè)模式,本質(zhì)是發(fā)揮規(guī)模效應(yīng),降低單個企業(yè)在數(shù)據(jù)信息存儲和尋找上的投入成本。主要業(yè)務(wù)形態(tài)有空間出租托管、數(shù)據(jù)商店、數(shù)據(jù)市場等,典型的代表企業(yè)為亞馬遜、EMC2、DropBox.
近年來引入“云”的概念,從簡單的數(shù)據(jù)存儲,逐步擴展到數(shù)據(jù)聚合平臺,最終形成云服務(wù);而以獨特數(shù)據(jù)資源進行的整合朝著縱向產(chǎn)業(yè)鏈上下游整合和橫向多種產(chǎn)業(yè)整合兩個方向發(fā)展,促使了一站式數(shù)據(jù)商店和數(shù)據(jù)交易平臺的出現(xiàn)。如亞馬遜、微軟等企業(yè)均建立了可以交易應(yīng)用程序和高級數(shù)據(jù)集的數(shù)據(jù)商店,目前已有數(shù)萬億個數(shù)據(jù)點、數(shù)千個訂閱、數(shù)百個應(yīng)用程序。
關(guān)系挖掘是媒體熱炒的主流大數(shù)據(jù)商業(yè)模式,也是數(shù)據(jù)科學(xué)的主要應(yīng)用模式。核心是通過數(shù)據(jù)發(fā)現(xiàn)隱藏的相關(guān)性,最終用于指導(dǎo)商業(yè)、精準化服務(wù)與輔助決策。
實現(xiàn)這種模式需要一些先決條件,主要是面向數(shù)據(jù)的處理分析環(huán)節(jié):一是目標領(lǐng)域的完全量化,如互聯(lián)網(wǎng)廣告領(lǐng)域,從廣告點擊到用戶購買行為,均有完整詳實的數(shù)據(jù)記錄;二是數(shù)據(jù)處理能力的大幅提升,要能夠處理非關(guān)系型數(shù)據(jù),并在海量條件下保持實時快速的性能。該模式的難點在于需要顛覆常規(guī)的用戶思維和需求邏輯,典型類型是沉淀價值的利用,將一些通常無意義的數(shù)據(jù)甚至是垃圾數(shù)據(jù)進行利用,最終得出有價值的結(jié)論。
例如,谷歌公司利用數(shù)十億用戶搜索時的錯誤拼寫記錄來提升其拼寫檢查器的智能性。就目前而言,基于關(guān)系挖掘的大數(shù)據(jù)模式尚未成熟,但承載了社會各界的較高期望:這種模式將有助于驅(qū)動產(chǎn)業(yè)轉(zhuǎn)型和發(fā)展新興產(chǎn)業(yè),如推動生物醫(yī)藥等研發(fā)密集型產(chǎn)業(yè)、企業(yè)咨詢等知識密集型產(chǎn)業(yè)向數(shù)據(jù)密集型產(chǎn)業(yè)轉(zhuǎn)型,推動零售、交通等傳統(tǒng)服務(wù)業(yè)向現(xiàn)代服務(wù)業(yè)轉(zhuǎn)型,推動傳統(tǒng)制造業(yè)向智能制造業(yè)轉(zhuǎn)型等。
與前兩種模式不同,數(shù)據(jù)社交和跨界連接模式直接面向每一個社會個體,本質(zhì)上是充分挖掘物理世界的個體資源,將其變成虛擬世界的一個節(jié)點,與其他的節(jié)點進行連接、交互和交易,從而大大降低各類商業(yè)化業(yè)務(wù)的推廣成本,并形成新興業(yè)態(tài)。這種模式正在走向成熟,最典型的代表就是O2O.
例如微信成為了連接線上線下、開展移動支付的重要入口;打車軟件有效降低了供需雙方的信息不對稱,提升了出租車市場的智能化程度;可穿戴設(shè)備將人體的訊息進一步量化,并提供決策建議;蘋果Passbook軟件為用戶提供了一個智能的電子卡包。推行這種模式也有幾個必要條件,主要是針對數(shù)據(jù)的采集傳輸環(huán)節(jié):移動化,需要帶有位置服務(wù)、能夠發(fā)射無線信號的智能終端;穩(wěn)定連接,需要高速、泛在的外部網(wǎng)絡(luò)環(huán)境;在線支付,依靠用戶最終的支付行為實現(xiàn)盈利;持續(xù)感知能力,需要先進的傳感器技術(shù)、低功耗芯片技術(shù)以及電池技術(shù)作為保障。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03