
大數(shù)據(jù)產(chǎn)業(yè)的結(jié)構(gòu)化瓶頸及解決之道
1、大數(shù)據(jù)產(chǎn)業(yè)的結(jié)構(gòu)化瓶頸
大數(shù)據(jù)轉(zhuǎn)換為大價(jià)值是一個(gè)復(fù)雜的鏈條。復(fù)雜性既來自需求自身的高度分散和個(gè)性化,又來自滿足需求過程所涉多樣且相互依賴的環(huán)節(jié)。盡管IT能力是繞不開的環(huán)節(jié),認(rèn)為大數(shù)據(jù)就是Hadoop的階段畢竟已過去了,現(xiàn)在大家都已經(jīng)意識(shí)到更廣泛的數(shù)據(jù)源是數(shù)據(jù)價(jià)值鏈的源頭,越發(fā)重視外部數(shù)據(jù)的獲取。大家正在意識(shí)到,大數(shù)據(jù)的應(yīng)用場景如此廣闊,沒有哪一家供應(yīng)商能保證現(xiàn)成的方案就能充分實(shí)現(xiàn)其潛力,所以各種創(chuàng)意大賽、算法大賽層出不窮。同時(shí),創(chuàng)新的不確定性,又影響企業(yè)恰當(dāng)?shù)乇磉_(dá)數(shù)據(jù)需求,尤其當(dāng)數(shù)據(jù)來自其他行業(yè)時(shí)。
從供給側(cè)來看,大數(shù)據(jù)時(shí)代真的要來了。數(shù)據(jù)資源、大數(shù)據(jù)處理技術(shù)平臺(tái)、分析軟件、應(yīng)用算法曾經(jīng)門檻很高的現(xiàn)在門檻大大降低。比如,大數(shù)據(jù)的處理和分析以前只有大型企業(yè)才有實(shí)力購買或部署,而今云服務(wù)則大大降低了門檻,中小企業(yè)也能快速具備相關(guān)能力。
然而,當(dāng)需求方?jīng)Q定接受鼓動(dòng)擁抱大數(shù)據(jù)時(shí),很可能發(fā)現(xiàn)大數(shù)據(jù)與傳統(tǒng)的IT項(xiàng)目沒有什么不同,除非能夠解決下面兩個(gè)問題。
問題1-在數(shù)據(jù)價(jià)值鏈源頭,數(shù)據(jù)作為新型生產(chǎn)要素尚不具備成熟的流通機(jī)制,這個(gè)社會(huì)正在快速數(shù)據(jù)化但數(shù)據(jù)遠(yuǎn)未社會(huì)化;
問題2-在數(shù)據(jù)價(jià)值鏈尾端,各類異質(zhì)性要素需要有機(jī)整合才能輸出價(jià)值,但目前還沒有能夠按照客戶需求整合全要素的角色
當(dāng)前,大數(shù)據(jù)要素升級(jí)已基本準(zhǔn)備就緒,但傳統(tǒng)IT產(chǎn)業(yè)的結(jié)構(gòu)性瓶頸制約了大數(shù)據(jù)時(shí)代的真正到來。新的產(chǎn)業(yè)要素呼喚新的產(chǎn)業(yè)制度設(shè)計(jì)。
2、問題分析與破題思路
2.1 對(duì)數(shù)據(jù)流通問題的思考
回到問題1的原點(diǎn),為什么數(shù)據(jù)需要流通?因?yàn)閿?shù)據(jù)具有外部性,對(duì)其擁有者之外的主體存在廣泛的使用價(jià)值。對(duì)外部性不同的預(yù)期,決定了不同的流通方式。政府希望盡可能多地釋放外部性使其轉(zhuǎn)化為社會(huì)福利,企業(yè)希望盡可能多地內(nèi)化外部性使其轉(zhuǎn)化為經(jīng)濟(jì)收益、資源收益和戰(zhàn)略收益。類政府的訴求對(duì)應(yīng)數(shù)據(jù)開放,經(jīng)濟(jì)收益對(duì)應(yīng)數(shù)據(jù)交易,資源收益對(duì)應(yīng)數(shù)據(jù)交換,戰(zhàn)略收益對(duì)應(yīng)數(shù)據(jù)共享。從長遠(yuǎn)來看,數(shù)據(jù)流通機(jī)制必將多元化,但目前由于各種原因,大部分?jǐn)?shù)據(jù)源對(duì)直接獲取經(jīng)濟(jì)收益更感興趣。
本部分僅分析數(shù)據(jù)交易面臨的問題。
數(shù)據(jù)交易的本質(zhì)是采取市場化手段促進(jìn)數(shù)據(jù)流通,而市場是通過價(jià)格發(fā)揮作用的。由于數(shù)據(jù)供給可以無限量0成本復(fù)制,影響數(shù)據(jù)定價(jià)的主要因素在需求側(cè)。
當(dāng)效用大于成本時(shí)交易才會(huì)發(fā)生,也就是說,只有需求方從某項(xiàng)數(shù)據(jù)中獲取的價(jià)值大于為此付出的諸多成本時(shí),定價(jià)才是有意義的。因此,任一數(shù)據(jù)的定價(jià)即購買成本應(yīng)不高于[數(shù)據(jù)價(jià)值-(搜尋成本+交易成本+使用成本)].
與傳統(tǒng)商品交易不同之處有二。一是數(shù)據(jù)本身缺乏內(nèi)在一致的價(jià)值尺度,其價(jià)值取決于應(yīng)用場景,即使同一數(shù)據(jù)的價(jià)值也可能是高度離散的,極端情況下正所謂此之毒藥彼之蜜糖;二是很少有數(shù)據(jù)買來就直接能用,購買后的使用成本視場景不同差異很大,而這部分成本也應(yīng)計(jì)算進(jìn)來,因?yàn)樗l(fā)生在價(jià)值兌現(xiàn)之前,是需求方購買決策的重要因素。因此我們可以把公式改寫為:
價(jià)格≤(數(shù)據(jù)價(jià)值-使用成本)-(搜尋成本+交易成本)
前面的被減項(xiàng)很大程度上取決于數(shù)據(jù)使用場景,相關(guān)信息是形成市場價(jià)格的必要條件。這可能是數(shù)據(jù)交易機(jī)制無法順暢運(yùn)行的癥結(jié)之一。數(shù)據(jù)源不了解需求方的使用場景,需求方不了解數(shù)據(jù)源需要經(jīng)過怎么樣的處理才能使用,雙方都缺乏交易的欲望。在這種情況下,數(shù)據(jù)交易市場如果僅提供中介服務(wù),是無法促進(jìn)交易達(dá)成的,這可能也是數(shù)據(jù)交易暫未風(fēng)行的重要原因。
后面的減數(shù)項(xiàng)則是一個(gè)中介的本分了,這個(gè)值做得越低越能促進(jìn)數(shù)據(jù)流通。搜尋成本和交易成本可以發(fā)生在線上也可發(fā)生在線下,能在線上完成的都應(yīng)在線上完成。可能有些交易市場擔(dān)心把相關(guān)信息如數(shù)據(jù)目錄都搬到線上后會(huì)被旁路,這是極其短視的看法。中介靠信息攬客但不是靠信息賺錢,賺錢的是高價(jià)值的增值服務(wù)。比如,交易成本除了顯性的傭金,還包括信任成本、商務(wù)合作成本,等等,如果能夠幫助客戶降低這些成本,就是有價(jià)值的中介服務(wù)。
可見,要真正走通數(shù)據(jù)交易這個(gè)流通模式,需要從兩方面著力降低客戶獲取數(shù)據(jù)價(jià)值的TCO,不是局限于簡單的撮合。一是提供場景,在數(shù)據(jù)的供給方和需求方之外,引入更接近業(yè)務(wù)場景的第三方合作伙伴,從而掌握更多的定價(jià)信息;二是提供場所,著力提升平臺(tái)自身的競爭力,在降低搜尋成本和交易成本上下工夫,比如擴(kuò)大數(shù)據(jù)目錄、優(yōu)化查詢工具、打消隱私顧慮等等。
2.2 對(duì)要素整合問題的思考
對(duì)于問題2,我們提出大數(shù)據(jù)全要素的概念。如上文所述可分為四類:數(shù)據(jù)要素是靈魂、IT要素是基礎(chǔ)、創(chuàng)意要素是催化劑、服務(wù)要素是粘合劑。數(shù)據(jù)和創(chuàng)意要素的需求高度個(gè)性化、供給高度分散化,IT要素的需求相對(duì)標(biāo)準(zhǔn)化、供給相對(duì)集中化。服務(wù)要素中可以被標(biāo)準(zhǔn)化的都會(huì)被工具化、產(chǎn)品化為IT要素并最終移向云端,剩下難以標(biāo)準(zhǔn)化的本地服務(wù),供給則趨向于分散化。
全部自家生產(chǎn)肯定不算整合,把別人家東西買回來放自家?guī)旆吭儋u出去的也不算整合。由于眾所周知的原因,一些能力全面的大廠不可能涉足數(shù)據(jù)整合,而具備一定整合能力的互聯(lián)網(wǎng)公司卻暫不具備IT產(chǎn)品和服務(wù)交付能力。此類解決方案的靈魂不是對(duì)軟硬件產(chǎn)品的了解,也不完全是行業(yè)經(jīng)驗(yàn)豐富的專家,而是數(shù)據(jù)思維以及將正確的數(shù)據(jù)用正確的方式整合到正確的流程中的綜合能力。
知易行難,這種能力看似是IT集成能力的升級(jí),但由于四類要素之間迥然不同的性質(zhì)和供需格局,傳統(tǒng)的集成模式難以完成這一任務(wù)??梢园讶卣险呃斫鉃橐环N新型集成商,但集成對(duì)象和集成方式發(fā)生了變化。在集成對(duì)象方面,從IT要素和服務(wù)要素?cái)U(kuò)展到數(shù)據(jù)要素和創(chuàng)意要素;在集成方式方面,從交鑰匙工程的保姆式集成轉(zhuǎn)變?yōu)槠脚_(tái)模式,讓多種個(gè)性化的要素與客戶的個(gè)性化需求在同一平臺(tái)對(duì)接。
四類要素,誰整合誰?第三方開發(fā)者也就是創(chuàng)意要素顯然是被整合的對(duì)象,此外有兩個(gè)可選項(xiàng)。
一種是BAT等坐擁數(shù)據(jù)金礦的整合各種IT服務(wù)商,云基礎(chǔ)設(shè)施領(lǐng)先更是如虎添翼,但是它們?cè)偃フ掀渌麛?shù)據(jù)資源卻面臨困難。阿里大肆收購各種行業(yè)B2B資產(chǎn)有兩個(gè)目的,一是補(bǔ)充IT服務(wù)能力,二是瞄準(zhǔn)了這些行業(yè)地頭蛇能接觸的行業(yè)數(shù)據(jù),這種All-In的思路其實(shí)已經(jīng)不是平臺(tái)的玩法了。
另一種是有實(shí)力的大數(shù)據(jù)IT公司整合數(shù)據(jù)源。此類企業(yè)要整合數(shù)據(jù)源具有戰(zhàn)略上的優(yōu)勢(shì)即中立性,同時(shí)具備戰(zhàn)術(shù)上的劣勢(shì)即如何啟動(dòng)平臺(tái)的正循環(huán)。國內(nèi)IT公司在云計(jì)算方面較落后,即使有優(yōu)秀的產(chǎn)品能力仍無法集約化高效提供,但最大的挑戰(zhàn)可能還是從IT思維到數(shù)據(jù)思維、從集成思維到平臺(tái)思維的轉(zhuǎn)變。
2.3 合二為一的破題思路
不難發(fā)現(xiàn),問題1和問題2其實(shí)相互進(jìn)入了對(duì)方的范疇。要建立全要素整合模式(問題2),繞不開數(shù)據(jù)要素的整合,這種整合不是傳統(tǒng)的集成,而是構(gòu)建一個(gè)流通平臺(tái)(問題1)。要建立數(shù)據(jù)交易模式(問題1),必須破解數(shù)據(jù)定價(jià)難題,全要素整合者(問題2)由于涉足數(shù)據(jù)的后續(xù)處理、分析和應(yīng)用環(huán)節(jié),是獲取定價(jià)信息最佳候選人。因此,兩個(gè)問題統(tǒng)一在一個(gè)破題思路下,即打造一體化產(chǎn)業(yè)平臺(tái),成為大數(shù)據(jù)全要素整合者。
3、一體化平臺(tái)與全要素流通
一體化平臺(tái)的本意是指底層能力基礎(chǔ)設(shè)施平臺(tái)和上層商業(yè)基礎(chǔ)設(shè)施平臺(tái)作為一個(gè)有機(jī)整體的模式,是相對(duì)于僅提供能力API的模式或僅提供雙邊撮合服務(wù)的模式而言。電商平臺(tái)最初僅提供商業(yè)基礎(chǔ)設(shè)施,但阿里沉淀了云計(jì)算能力打造了阿里云作為底層基礎(chǔ)設(shè)施平臺(tái),已成為典型的一體化平臺(tái)。繼續(xù)向O2O商業(yè)平臺(tái)演進(jìn),這次沉淀的是數(shù)據(jù)資源,新的能力基礎(chǔ)設(shè)施平臺(tái)正在成型。
在大數(shù)據(jù)產(chǎn)業(yè)中,針對(duì)前面提到的兩大瓶頸,也將出現(xiàn)一體化平臺(tái),如上圖所示。在能力平臺(tái)層面是社會(huì)級(jí)大數(shù)據(jù)處理分析平臺(tái),在此支持下,商業(yè)平臺(tái)層面包括數(shù)據(jù)流通和應(yīng)用聚合兩大平臺(tái),最終體現(xiàn)在企業(yè)用戶側(cè)就是一個(gè)整合了數(shù)據(jù)要素、IT要素和創(chuàng)意要素的大數(shù)據(jù)全要素整合者。
首先,一體化產(chǎn)業(yè)平臺(tái)具備夯實(shí)的基座,打鐵還需自身硬,并非空手套白狼。IT要素的供需特征決定了,像水電煤氣一樣為全社會(huì)提供標(biāo)準(zhǔn)化的大數(shù)據(jù)處理分析基礎(chǔ)設(shè)施是經(jīng)濟(jì)可行的。在提供基礎(chǔ)要素即IT要素方面要具備競爭力,這是全要素整合者的基本條件。基于此,全要素整合者向各種角色提供低成本的大數(shù)據(jù)IT產(chǎn)品及服務(wù),與所有生態(tài)成員都建立了聯(lián)系或稱控制點(diǎn)。
第二,受益于各種要素之間的互補(bǔ)性,一體化產(chǎn)業(yè)平臺(tái)能鎖定平臺(tái)各方成員。對(duì)于數(shù)據(jù)源,平臺(tái)不僅能夠找到買家,還能對(duì)接發(fā)揮數(shù)據(jù)價(jià)值的應(yīng)用對(duì)于應(yīng)用對(duì)于傳統(tǒng)企業(yè),平臺(tái)能一站式提供大數(shù)據(jù)全要素,這才能真正兌現(xiàn)大數(shù)據(jù)的大價(jià)值。
第三,一體化產(chǎn)業(yè)平臺(tái)為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展解除發(fā)展瓶頸,符合各方利益。大數(shù)據(jù)代表一系列新型生產(chǎn)要素,但若不對(duì)傳統(tǒng)IT產(chǎn)業(yè)的產(chǎn)業(yè)關(guān)系進(jìn)行革新,要素升級(jí)難以真正轉(zhuǎn)化為生產(chǎn)力。相對(duì)于市場或企業(yè),平臺(tái)是一種新的分工機(jī)制,把各類要素主體之間的鏈?zhǔn)疥P(guān)系轉(zhuǎn)變?yōu)橐钥蛻魹橹行牡谋馄疥P(guān)系,并擴(kuò)展到長尾市場,更有序、充分、高效地實(shí)現(xiàn)多種要素流社會(huì)化流通和有機(jī)協(xié)同。
在一個(gè)產(chǎn)業(yè)成型或范式轉(zhuǎn)型初期,采取一體化策略的企業(yè)通常占優(yōu),大數(shù)據(jù)產(chǎn)業(yè)就處于這樣的階段。但是,數(shù)字化條件下產(chǎn)業(yè)和企業(yè)的邊界打破、各種新型分工要素涌現(xiàn),分工又是大勢(shì)所趨。
一體化產(chǎn)業(yè)平臺(tái)既不同于大包大攬的縱向一體化企業(yè)也不同于靠砸錢建立規(guī)模門檻的輕平臺(tái)。我們相信它是大數(shù)據(jù)產(chǎn)業(yè)的最佳選擇。歸根到底,產(chǎn)業(yè)選擇何種分工機(jī)制,看的是誰能更快速地協(xié)調(diào)處理更多元的要素以客戶需求為準(zhǔn)則的有序流動(dòng),具有一定的必然性。
對(duì)IBM、Apple、電信運(yùn)營商等企業(yè)興衰的研究表明,企業(yè)的成功是需求驅(qū)動(dòng)下的產(chǎn)業(yè)必然性和資源約束下的企業(yè)偶然性交疊的結(jié)果。企業(yè)需要構(gòu)建與產(chǎn)業(yè)演進(jìn)階段相適應(yīng)的戰(zhàn)略模式,尋找并實(shí)現(xiàn)到那份屬于自己、符合產(chǎn)業(yè)必然性的偶然性。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價(jià)值、驅(qū)動(dòng)決策的 ...
2025-07-15CDA 精益業(yè)務(wù)數(shù)據(jù)分析:驅(qū)動(dòng)企業(yè)高效決策的核心引擎? 在數(shù)字經(jīng)濟(jì)時(shí)代,企業(yè)面臨著前所未有的數(shù)據(jù)洪流,如何從海量數(shù)據(jù)中提取有 ...
2025-07-15MySQL 無外鍵關(guān)聯(lián)表的 JOIN 實(shí)戰(zhàn):數(shù)據(jù)整合的靈活之道? 在 MySQL 數(shù)據(jù)庫的日常操作中,我們經(jīng)常會(huì)遇到需要整合多張表數(shù)據(jù)的場景 ...
2025-07-15Python Pandas:數(shù)據(jù)科學(xué)的瑞士軍刀? ? 在數(shù)據(jù)驅(qū)動(dòng)的時(shí)代,面對(duì)海量、復(fù)雜的數(shù)據(jù),如何高效地進(jìn)行處理、分析和挖掘成為關(guān)鍵。 ...
2025-07-15用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯(cuò)改字段或誤執(zhí)行批量更新等問題時(shí)有發(fā)生。 ...
2025-07-14t檢驗(yàn)與Wilcoxon檢驗(yàn)的選擇:何時(shí)用t.test,何時(shí)用wilcox.test? t 檢驗(yàn)與 Wilcoxon 檢驗(yàn)的選擇:何時(shí)用 t.test,何時(shí)用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時(shí)代職業(yè)生涯的鑰匙(深度研究報(bào)告、發(fā)展指導(dǎo)白皮書) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08