
大數(shù)據(jù)產(chǎn)業(yè)的結(jié)構(gòu)化瓶頸及解決之道
1、大數(shù)據(jù)產(chǎn)業(yè)的結(jié)構(gòu)化瓶頸
大數(shù)據(jù)轉(zhuǎn)換為大價(jià)值是一個(gè)復(fù)雜的鏈條。復(fù)雜性既來自需求自身的高度分散和個(gè)性化,又來自滿足需求過程所涉多樣且相互依賴的環(huán)節(jié)。盡管IT能力是繞不開的環(huán)節(jié),認(rèn)為大數(shù)據(jù)就是Hadoop的階段畢竟已過去了,現(xiàn)在大家都已經(jīng)意識到更廣泛的數(shù)據(jù)源是數(shù)據(jù)價(jià)值鏈的源頭,越發(fā)重視外部數(shù)據(jù)的獲取。大家正在意識到,大數(shù)據(jù)的應(yīng)用場景如此廣闊,沒有哪一家供應(yīng)商能保證現(xiàn)成的方案就能充分實(shí)現(xiàn)其潛力,所以各種創(chuàng)意大賽、算法大賽層出不窮。同時(shí),創(chuàng)新的不確定性,又影響企業(yè)恰當(dāng)?shù)乇磉_(dá)數(shù)據(jù)需求,尤其當(dāng)數(shù)據(jù)來自其他行業(yè)時(shí)。
從供給側(cè)來看,大數(shù)據(jù)時(shí)代真的要來了。數(shù)據(jù)資源、大數(shù)據(jù)處理技術(shù)平臺、分析軟件、應(yīng)用算法曾經(jīng)門檻很高的現(xiàn)在門檻大大降低。比如,大數(shù)據(jù)的處理和分析以前只有大型企業(yè)才有實(shí)力購買或部署,而今云服務(wù)則大大降低了門檻,中小企業(yè)也能快速具備相關(guān)能力。
然而,當(dāng)需求方?jīng)Q定接受鼓動擁抱大數(shù)據(jù)時(shí),很可能發(fā)現(xiàn)大數(shù)據(jù)與傳統(tǒng)的IT項(xiàng)目沒有什么不同,除非能夠解決下面兩個(gè)問題。
問題1-在數(shù)據(jù)價(jià)值鏈源頭,數(shù)據(jù)作為新型生產(chǎn)要素尚不具備成熟的流通機(jī)制,這個(gè)社會正在快速數(shù)據(jù)化但數(shù)據(jù)遠(yuǎn)未社會化;
問題2-在數(shù)據(jù)價(jià)值鏈尾端,各類異質(zhì)性要素需要有機(jī)整合才能輸出價(jià)值,但目前還沒有能夠按照客戶需求整合全要素的角色
當(dāng)前,大數(shù)據(jù)要素升級已基本準(zhǔn)備就緒,但傳統(tǒng)IT產(chǎn)業(yè)的結(jié)構(gòu)性瓶頸制約了大數(shù)據(jù)時(shí)代的真正到來。新的產(chǎn)業(yè)要素呼喚新的產(chǎn)業(yè)制度設(shè)計(jì)。
2、問題分析與破題思路
2.1 對數(shù)據(jù)流通問題的思考
回到問題1的原點(diǎn),為什么數(shù)據(jù)需要流通?因?yàn)閿?shù)據(jù)具有外部性,對其擁有者之外的主體存在廣泛的使用價(jià)值。對外部性不同的預(yù)期,決定了不同的流通方式。政府希望盡可能多地釋放外部性使其轉(zhuǎn)化為社會福利,企業(yè)希望盡可能多地內(nèi)化外部性使其轉(zhuǎn)化為經(jīng)濟(jì)收益、資源收益和戰(zhàn)略收益。類政府的訴求對應(yīng)數(shù)據(jù)開放,經(jīng)濟(jì)收益對應(yīng)數(shù)據(jù)交易,資源收益對應(yīng)數(shù)據(jù)交換,戰(zhàn)略收益對應(yīng)數(shù)據(jù)共享。從長遠(yuǎn)來看,數(shù)據(jù)流通機(jī)制必將多元化,但目前由于各種原因,大部分?jǐn)?shù)據(jù)源對直接獲取經(jīng)濟(jì)收益更感興趣。
本部分僅分析數(shù)據(jù)交易面臨的問題。
數(shù)據(jù)交易的本質(zhì)是采取市場化手段促進(jìn)數(shù)據(jù)流通,而市場是通過價(jià)格發(fā)揮作用的。由于數(shù)據(jù)供給可以無限量0成本復(fù)制,影響數(shù)據(jù)定價(jià)的主要因素在需求側(cè)。
當(dāng)效用大于成本時(shí)交易才會發(fā)生,也就是說,只有需求方從某項(xiàng)數(shù)據(jù)中獲取的價(jià)值大于為此付出的諸多成本時(shí),定價(jià)才是有意義的。因此,任一數(shù)據(jù)的定價(jià)即購買成本應(yīng)不高于[數(shù)據(jù)價(jià)值-(搜尋成本+交易成本+使用成本)].
與傳統(tǒng)商品交易不同之處有二。一是數(shù)據(jù)本身缺乏內(nèi)在一致的價(jià)值尺度,其價(jià)值取決于應(yīng)用場景,即使同一數(shù)據(jù)的價(jià)值也可能是高度離散的,極端情況下正所謂此之毒藥彼之蜜糖;二是很少有數(shù)據(jù)買來就直接能用,購買后的使用成本視場景不同差異很大,而這部分成本也應(yīng)計(jì)算進(jìn)來,因?yàn)樗l(fā)生在價(jià)值兌現(xiàn)之前,是需求方購買決策的重要因素。因此我們可以把公式改寫為:
價(jià)格≤(數(shù)據(jù)價(jià)值-使用成本)-(搜尋成本+交易成本)
前面的被減項(xiàng)很大程度上取決于數(shù)據(jù)使用場景,相關(guān)信息是形成市場價(jià)格的必要條件。這可能是數(shù)據(jù)交易機(jī)制無法順暢運(yùn)行的癥結(jié)之一。數(shù)據(jù)源不了解需求方的使用場景,需求方不了解數(shù)據(jù)源需要經(jīng)過怎么樣的處理才能使用,雙方都缺乏交易的欲望。在這種情況下,數(shù)據(jù)交易市場如果僅提供中介服務(wù),是無法促進(jìn)交易達(dá)成的,這可能也是數(shù)據(jù)交易暫未風(fēng)行的重要原因。
后面的減數(shù)項(xiàng)則是一個(gè)中介的本分了,這個(gè)值做得越低越能促進(jìn)數(shù)據(jù)流通。搜尋成本和交易成本可以發(fā)生在線上也可發(fā)生在線下,能在線上完成的都應(yīng)在線上完成。可能有些交易市場擔(dān)心把相關(guān)信息如數(shù)據(jù)目錄都搬到線上后會被旁路,這是極其短視的看法。中介靠信息攬客但不是靠信息賺錢,賺錢的是高價(jià)值的增值服務(wù)。比如,交易成本除了顯性的傭金,還包括信任成本、商務(wù)合作成本,等等,如果能夠幫助客戶降低這些成本,就是有價(jià)值的中介服務(wù)。
可見,要真正走通數(shù)據(jù)交易這個(gè)流通模式,需要從兩方面著力降低客戶獲取數(shù)據(jù)價(jià)值的TCO,不是局限于簡單的撮合。一是提供場景,在數(shù)據(jù)的供給方和需求方之外,引入更接近業(yè)務(wù)場景的第三方合作伙伴,從而掌握更多的定價(jià)信息;二是提供場所,著力提升平臺自身的競爭力,在降低搜尋成本和交易成本上下工夫,比如擴(kuò)大數(shù)據(jù)目錄、優(yōu)化查詢工具、打消隱私顧慮等等。
2.2 對要素整合問題的思考
對于問題2,我們提出大數(shù)據(jù)全要素的概念。如上文所述可分為四類:數(shù)據(jù)要素是靈魂、IT要素是基礎(chǔ)、創(chuàng)意要素是催化劑、服務(wù)要素是粘合劑。數(shù)據(jù)和創(chuàng)意要素的需求高度個(gè)性化、供給高度分散化,IT要素的需求相對標(biāo)準(zhǔn)化、供給相對集中化。服務(wù)要素中可以被標(biāo)準(zhǔn)化的都會被工具化、產(chǎn)品化為IT要素并最終移向云端,剩下難以標(biāo)準(zhǔn)化的本地服務(wù),供給則趨向于分散化。
全部自家生產(chǎn)肯定不算整合,把別人家東西買回來放自家?guī)旆吭儋u出去的也不算整合。由于眾所周知的原因,一些能力全面的大廠不可能涉足數(shù)據(jù)整合,而具備一定整合能力的互聯(lián)網(wǎng)公司卻暫不具備IT產(chǎn)品和服務(wù)交付能力。此類解決方案的靈魂不是對軟硬件產(chǎn)品的了解,也不完全是行業(yè)經(jīng)驗(yàn)豐富的專家,而是數(shù)據(jù)思維以及將正確的數(shù)據(jù)用正確的方式整合到正確的流程中的綜合能力。
知易行難,這種能力看似是IT集成能力的升級,但由于四類要素之間迥然不同的性質(zhì)和供需格局,傳統(tǒng)的集成模式難以完成這一任務(wù)??梢园讶卣险呃斫鉃橐环N新型集成商,但集成對象和集成方式發(fā)生了變化。在集成對象方面,從IT要素和服務(wù)要素?cái)U(kuò)展到數(shù)據(jù)要素和創(chuàng)意要素;在集成方式方面,從交鑰匙工程的保姆式集成轉(zhuǎn)變?yōu)槠脚_模式,讓多種個(gè)性化的要素與客戶的個(gè)性化需求在同一平臺對接。
四類要素,誰整合誰?第三方開發(fā)者也就是創(chuàng)意要素顯然是被整合的對象,此外有兩個(gè)可選項(xiàng)。
一種是BAT等坐擁數(shù)據(jù)金礦的整合各種IT服務(wù)商,云基礎(chǔ)設(shè)施領(lǐng)先更是如虎添翼,但是它們再去整合其他數(shù)據(jù)資源卻面臨困難。阿里大肆收購各種行業(yè)B2B資產(chǎn)有兩個(gè)目的,一是補(bǔ)充IT服務(wù)能力,二是瞄準(zhǔn)了這些行業(yè)地頭蛇能接觸的行業(yè)數(shù)據(jù),這種All-In的思路其實(shí)已經(jīng)不是平臺的玩法了。
另一種是有實(shí)力的大數(shù)據(jù)IT公司整合數(shù)據(jù)源。此類企業(yè)要整合數(shù)據(jù)源具有戰(zhàn)略上的優(yōu)勢即中立性,同時(shí)具備戰(zhàn)術(shù)上的劣勢即如何啟動平臺的正循環(huán)。國內(nèi)IT公司在云計(jì)算方面較落后,即使有優(yōu)秀的產(chǎn)品能力仍無法集約化高效提供,但最大的挑戰(zhàn)可能還是從IT思維到數(shù)據(jù)思維、從集成思維到平臺思維的轉(zhuǎn)變。
2.3 合二為一的破題思路
不難發(fā)現(xiàn),問題1和問題2其實(shí)相互進(jìn)入了對方的范疇。要建立全要素整合模式(問題2),繞不開數(shù)據(jù)要素的整合,這種整合不是傳統(tǒng)的集成,而是構(gòu)建一個(gè)流通平臺(問題1)。要建立數(shù)據(jù)交易模式(問題1),必須破解數(shù)據(jù)定價(jià)難題,全要素整合者(問題2)由于涉足數(shù)據(jù)的后續(xù)處理、分析和應(yīng)用環(huán)節(jié),是獲取定價(jià)信息最佳候選人。因此,兩個(gè)問題統(tǒng)一在一個(gè)破題思路下,即打造一體化產(chǎn)業(yè)平臺,成為大數(shù)據(jù)全要素整合者。
3、一體化平臺與全要素流通
一體化平臺的本意是指底層能力基礎(chǔ)設(shè)施平臺和上層商業(yè)基礎(chǔ)設(shè)施平臺作為一個(gè)有機(jī)整體的模式,是相對于僅提供能力API的模式或僅提供雙邊撮合服務(wù)的模式而言。電商平臺最初僅提供商業(yè)基礎(chǔ)設(shè)施,但阿里沉淀了云計(jì)算能力打造了阿里云作為底層基礎(chǔ)設(shè)施平臺,已成為典型的一體化平臺。繼續(xù)向O2O商業(yè)平臺演進(jìn),這次沉淀的是數(shù)據(jù)資源,新的能力基礎(chǔ)設(shè)施平臺正在成型。
在大數(shù)據(jù)產(chǎn)業(yè)中,針對前面提到的兩大瓶頸,也將出現(xiàn)一體化平臺,如上圖所示。在能力平臺層面是社會級大數(shù)據(jù)處理分析平臺,在此支持下,商業(yè)平臺層面包括數(shù)據(jù)流通和應(yīng)用聚合兩大平臺,最終體現(xiàn)在企業(yè)用戶側(cè)就是一個(gè)整合了數(shù)據(jù)要素、IT要素和創(chuàng)意要素的大數(shù)據(jù)全要素整合者。
首先,一體化產(chǎn)業(yè)平臺具備夯實(shí)的基座,打鐵還需自身硬,并非空手套白狼。IT要素的供需特征決定了,像水電煤氣一樣為全社會提供標(biāo)準(zhǔn)化的大數(shù)據(jù)處理分析基礎(chǔ)設(shè)施是經(jīng)濟(jì)可行的。在提供基礎(chǔ)要素即IT要素方面要具備競爭力,這是全要素整合者的基本條件?;诖?,全要素整合者向各種角色提供低成本的大數(shù)據(jù)IT產(chǎn)品及服務(wù),與所有生態(tài)成員都建立了聯(lián)系或稱控制點(diǎn)。
第二,受益于各種要素之間的互補(bǔ)性,一體化產(chǎn)業(yè)平臺能鎖定平臺各方成員。對于數(shù)據(jù)源,平臺不僅能夠找到買家,還能對接發(fā)揮數(shù)據(jù)價(jià)值的應(yīng)用對于應(yīng)用對于傳統(tǒng)企業(yè),平臺能一站式提供大數(shù)據(jù)全要素,這才能真正兌現(xiàn)大數(shù)據(jù)的大價(jià)值。
第三,一體化產(chǎn)業(yè)平臺為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展解除發(fā)展瓶頸,符合各方利益。大數(shù)據(jù)代表一系列新型生產(chǎn)要素,但若不對傳統(tǒng)IT產(chǎn)業(yè)的產(chǎn)業(yè)關(guān)系進(jìn)行革新,要素升級難以真正轉(zhuǎn)化為生產(chǎn)力。相對于市場或企業(yè),平臺是一種新的分工機(jī)制,把各類要素主體之間的鏈?zhǔn)疥P(guān)系轉(zhuǎn)變?yōu)橐钥蛻魹橹行牡谋馄疥P(guān)系,并擴(kuò)展到長尾市場,更有序、充分、高效地實(shí)現(xiàn)多種要素流社會化流通和有機(jī)協(xié)同。
在一個(gè)產(chǎn)業(yè)成型或范式轉(zhuǎn)型初期,采取一體化策略的企業(yè)通常占優(yōu),大數(shù)據(jù)產(chǎn)業(yè)就處于這樣的階段。但是,數(shù)字化條件下產(chǎn)業(yè)和企業(yè)的邊界打破、各種新型分工要素涌現(xiàn),分工又是大勢所趨。
一體化產(chǎn)業(yè)平臺既不同于大包大攬的縱向一體化企業(yè)也不同于靠砸錢建立規(guī)模門檻的輕平臺。我們相信它是大數(shù)據(jù)產(chǎn)業(yè)的最佳選擇。歸根到底,產(chǎn)業(yè)選擇何種分工機(jī)制,看的是誰能更快速地協(xié)調(diào)處理更多元的要素以客戶需求為準(zhǔn)則的有序流動,具有一定的必然性。
對IBM、Apple、電信運(yùn)營商等企業(yè)興衰的研究表明,企業(yè)的成功是需求驅(qū)動下的產(chǎn)業(yè)必然性和資源約束下的企業(yè)偶然性交疊的結(jié)果。企業(yè)需要構(gòu)建與產(chǎn)業(yè)演進(jìn)階段相適應(yīng)的戰(zhàn)略模式,尋找并實(shí)現(xiàn)到那份屬于自己、符合產(chǎn)業(yè)必然性的偶然性。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓(xùn)練與驗(yàn)證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計(jì)基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計(jì)基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11