
中美大數(shù)據(jù)差異 如何發(fā)展大數(shù)據(jù)產(chǎn)業(yè)_數(shù)據(jù)分析師
以下內(nèi)容根據(jù)清華蘇研院大世界中心主任林輝講話稿整理:
大數(shù)據(jù)時(shí)代到來的時(shí)候人類文化將進(jìn)入一場革命。因?yàn)榍懊嫒齻€(gè)階段是在用設(shè)備和網(wǎng)絡(luò)為我們提供服務(wù),這是一個(gè)整體的服務(wù)系統(tǒng);當(dāng)服務(wù)關(guān)聯(lián)到數(shù)據(jù)本身時(shí),信息化建設(shè)也就發(fā)生了變化,而數(shù)據(jù)就是信息化的核心。
大數(shù)據(jù)源于云計(jì)算、物聯(lián)網(wǎng)和移動互聯(lián),而云計(jì)算是人們追求的一種模式和路徑,數(shù)據(jù)是由它帶來的。無論是國家還是城市,都會涉及到四塊內(nèi)容:經(jīng)濟(jì)產(chǎn)業(yè)發(fā)展、政府職能、社會的公共職能、軍事和國防安全。關(guān)于經(jīng)濟(jì)產(chǎn)業(yè)的發(fā)展和政府職能的關(guān)系,近日召開的十八屆三中全會提出“治理”,而不是“管理”,就是使管理的主體變得多元化。另外,十八屆三中全會還設(shè)立了國家安全委員會。各個(gè)行業(yè)都可以涵蓋到這四部分當(dāng)中。在社會發(fā)展和技術(shù)發(fā)展過程中,會涉及到各種數(shù)據(jù)處理問題,技術(shù)發(fā)展和社會發(fā)展都需要突破這個(gè)問題瓶頸。所以我認(rèn)為,大數(shù)據(jù)是智慧城市和移動互聯(lián)發(fā)展的瓶頸。如果沒有解決這個(gè)問題,我們將永遠(yuǎn)沉浸在云計(jì)算、物聯(lián)網(wǎng)、移動互聯(lián)、智慧城市等所有的夢幻當(dāng)中。你的數(shù)據(jù)沒有互聯(lián)、沒有互通、沒有互享、沒有互用,云計(jì)算、物聯(lián)網(wǎng)、移動互聯(lián)、智慧城市都只能是夢幻。
中國和美國對大數(shù)據(jù)的理解和重視程度是不同的。美國提出這個(gè)概念的時(shí)候是基于用數(shù)據(jù)創(chuàng)造了新的模式和內(nèi)容。而中國在基礎(chǔ)設(shè)施建設(shè)和整個(gè)信息系統(tǒng)的發(fā)展上,跟美國有著非常大的差距,這個(gè)差距能夠大到十年、二十年。但是關(guān)于云計(jì)算、移動互聯(lián)網(wǎng)這塊,中國起步比美國僅僅晚兩到三年,傳統(tǒng)的信息系統(tǒng)的技術(shù)中國跟美國又差很多,特別是在應(yīng)用系統(tǒng)完善性上。
所以美國對大數(shù)據(jù)的理解是要用數(shù)據(jù)分析新的模式、新的路徑,那中國對大數(shù)據(jù)到底是怎樣的?
無論是政府、企業(yè),還是其他各行各業(yè),我們要提大數(shù)據(jù),一定要從數(shù)據(jù)的起源,從它的產(chǎn)生、存儲、處理、統(tǒng)計(jì)、分析、挖掘、應(yīng)用、互聯(lián)互通等角度出發(fā)。站在整個(gè)數(shù)據(jù)價(jià)值鏈上去考慮,不能像美國那樣去考慮。因?yàn)槊绹南到y(tǒng)基本成熟,中國不能照它的路去走,否則就會像中國的汽車一樣,發(fā)展這么長時(shí)間仍然存在很大的問題:雖然產(chǎn)能第一,但汽車的核心發(fā)動機(jī)、電速箱、底盤,甚至是外形設(shè)計(jì),都受到別人的嚴(yán)重制約。
因此,我們一定要用自身對數(shù)據(jù)的理解迎合中國的大數(shù)據(jù)時(shí)代,從而能夠用我們的一種辦法,去實(shí)現(xiàn)對數(shù)據(jù)的使用。
目前,包括美國在內(nèi),大數(shù)據(jù)問題也不能完全解決,中國也是一樣的。只有解決了大數(shù)據(jù)問題,才能真正的讓云計(jì)算、移動互聯(lián)網(wǎng)落地。國家呼吁了多年云計(jì)算,也花了不少冤枉錢,除卻政策、體制、機(jī)制問題外,還有一個(gè)問題就是沒有辦法解決數(shù)據(jù)分析這個(gè)根本問題。
信息化的核心就是數(shù)據(jù)。數(shù)據(jù)是信息化的部分表述,無論用了什么硬件,用什么手段,安裝什么系統(tǒng),里面竄動的永遠(yuǎn)是不變的數(shù)據(jù)。在信息化建設(shè)過程當(dāng)中,只有將數(shù)據(jù)真正關(guān)聯(lián)起來、關(guān)注數(shù)據(jù)、聚焦數(shù)據(jù)的時(shí)候,才是真正的懂得了信息化的實(shí)質(zhì)。
在發(fā)展模式轉(zhuǎn)型的過程中,尤其是制造業(yè),產(chǎn)業(yè)結(jié)構(gòu)需要升級,需要?jiǎng)?chuàng)新驅(qū)動。創(chuàng)新驅(qū)動要從底層基礎(chǔ)材料等各方面出發(fā),并把信息技術(shù)當(dāng)中的數(shù)據(jù)量給挖掘出來,這時(shí)候才是全面的融合。
數(shù)據(jù)的實(shí)質(zhì)和作用正在發(fā)生質(zhì)變。任何生產(chǎn)、生活必須要具備幾個(gè)因素:生產(chǎn)要素、勞動力、土地及自然資源。土地不言而喻;自然資源是指能源、礦產(chǎn)等;很多年前,有人曾經(jīng)提出信息和技術(shù)也可以成為生產(chǎn)要素,未果。但在大數(shù)據(jù)時(shí)代,我們可以將數(shù)據(jù)定性為生產(chǎn)要素,它不僅是技術(shù)和信息的載體,還是其表現(xiàn)形式。比如,專利技術(shù)可以注冊資金,其實(shí)就是一個(gè)文件,它的具體表現(xiàn)形式可能是專利、著作等方面。這樣做了以后我們更能清楚的闡述當(dāng)今科技的核心實(shí)質(zhì)。將來人類大腦里的經(jīng)驗(yàn)和知識都可以逐漸的轉(zhuǎn)化為數(shù)據(jù)。別人采用你的經(jīng)驗(yàn),其實(shí)就是使用你經(jīng)驗(yàn)當(dāng)中的數(shù)據(jù)。
為什么目前所有媒體、政府、天使投資人、VC等都關(guān)注大數(shù)據(jù)?因?yàn)楫?dāng)一個(gè)新的生產(chǎn)要素加入到任何原有的生產(chǎn)方式的時(shí)候,就會對原有要素的比例、權(quán)重和質(zhì)量的原有存在狀態(tài)產(chǎn)生影響,并形成新的爆發(fā)式的增長,甚至是技術(shù)性和產(chǎn)業(yè)性的革命,進(jìn)而促進(jìn)人類文明的進(jìn)步。
舉例來說新要素對原有要素的影響,比如,近日在網(wǎng)上一直熱炒的“馬云和王健林口水戰(zhàn)”,馬云說做阿里巴巴根本目的還有一個(gè)就是要把地產(chǎn)價(jià)格拉下去。為什么阿里巴巴能打動地產(chǎn)價(jià)?原因就在于電商平臺可以用數(shù)據(jù)的力量形成了一個(gè)虛擬的交易平臺,使線下商品銷量降低,這樣一來門面租金減少,從而地價(jià)降低,房價(jià)下降,不能形成非常大的商業(yè)圈,商業(yè)地產(chǎn)價(jià)格也會下降。這就是利用數(shù)據(jù)在撼動原來的資本和土地要素。未來經(jīng)過五年到十年的發(fā)展,總會有一天,很多的經(jīng)營店會變成應(yīng)用感受店,甚至還會有一些新的模式的出現(xiàn)。
以前是各種傳播公司和科技巨頭如IBM、微軟、甲骨文等控制著信息系統(tǒng)的發(fā)展方向,是他們在引導(dǎo)技術(shù)的發(fā)展。但隨著云計(jì)算、大數(shù)據(jù)的發(fā)展,這種模式好像遇到了挑戰(zhàn)。
那么如何發(fā)展大數(shù)據(jù)產(chǎn)業(yè)?大概有以下三個(gè)方面:眾包、開源和長尾。
眾包——集眾人之力。現(xiàn)在能向IBM、甲骨文、EMC、微軟發(fā)起挑戰(zhàn)的都是通過眾包的模式進(jìn)行的。集眾人之力,也稱作“群狼戰(zhàn)術(shù)”。因?yàn)閱蝹€(gè)的某個(gè)企業(yè)買不起IBM的服務(wù)器,買不起甲骨文的數(shù)據(jù)庫,買不起EMC的存儲,所以要做分布式、虛擬化的調(diào)度。
因?yàn)橛羞@樣一群人開始嘗試,于是出現(xiàn)了開源。開源的概念其實(shí)源于原來的傳統(tǒng)產(chǎn)業(yè)。有一個(gè)做化妝品的大企業(yè)聘請了大量的科研人員,研究各種配方,但后來發(fā)現(xiàn)這樣做的產(chǎn)品成本會非常高,每個(gè)新出的化妝品價(jià)格必須在六百到八百美元左右,而且科研人員因研究任務(wù)復(fù)雜幾乎被逼瘋了。其中有一個(gè)化學(xué)工程師索性把他要研究的任務(wù)扔到網(wǎng)上了,許多志愿者開始研究這個(gè)東西,給他出各種的主意后又把結(jié)果反饋給他,這就是開源的由來。后來該企業(yè)的研究經(jīng)費(fèi)降低了20%左右。開源可以匯眾人之智,降低成本。
長尾——享眾人之功。長尾就是指原來龍頭企業(yè)能占領(lǐng)60%、70%的市場份額,然后逐漸的被長尾現(xiàn)象所替代,即龍頭企業(yè)占到30%左右的市場份額,剩下的被各個(gè)領(lǐng)域占領(lǐng),各個(gè)方向的人一起分享。因?yàn)椤叭豪菓?zhàn)術(shù)”,“狼”的籌碼不能缺太多,“群狼”一起分享,這樣效率就提高了。
大數(shù)據(jù)時(shí)代,建設(shè)智慧城市還會遇到很多問題,有一個(gè)問題就是以數(shù)據(jù)為生產(chǎn)要素的新一代信息化建設(shè)處處繁華似錦,但肯定不能一花一果。所以我建議:一定要做好頂層化的設(shè)計(jì),整個(gè)的部門想做什么,先有一個(gè)大概的方向;第二是強(qiáng)制化,成熟一些了,馬上就往前推進(jìn)行;第三一定要市場化。市場化、強(qiáng)制化、頂層化才能形成創(chuàng)新驅(qū)動。
數(shù)據(jù)驅(qū)動建設(shè)信息化是有量化指標(biāo)和架構(gòu)的,有的東西能做,有的東西暫時(shí)不要做。從技術(shù)上看著都能實(shí)現(xiàn),但是有的一踩就是地雷,有的就是結(jié)果。所以我認(rèn)為有幾個(gè)指標(biāo)供參考,什么可以用數(shù)據(jù)驅(qū)動創(chuàng)新,什么不可以。
1.架構(gòu)力度,是指某個(gè)產(chǎn)業(yè)單位時(shí)間內(nèi)創(chuàng)造出來的生產(chǎn)總值。
2.基礎(chǔ)約束度一定要小,不要受體制、機(jī)制、政策、資本的各種約束。如果政府在體制和機(jī)制上,沒有形成突破,諸如國家統(tǒng)計(jì)局,從下面采集上來的數(shù)據(jù)就有很多的問題,摻沙和水,這時(shí)候讓做大數(shù)據(jù)挖掘優(yōu)化,挖出來的還是沙子和水,體制和機(jī)制都有問題的時(shí)候,沒有辦法挖,這是一個(gè)約束度的問題。
3.投資收益度,投的少,收的多,或者叫公益度。公益度指社會服務(wù),諸如我們的社保、文化、教育、醫(yī)療。
4.市場接受數(shù)據(jù)的力度和敏感度。力度越粗,敏感度越敏銳的才有利。比如,你給他一堆甚至都帶有錯(cuò)誤信息的數(shù)據(jù),他都愿意買的時(shí)候,這個(gè)就可以做;你給了他一個(gè)說全國中考的50萬個(gè)重點(diǎn)要素,孩子們讀完以后能漲20分,所有的家長都覺得是謊話,但是覺得能漲20分也行,這就是力度很粗糙,敏感度很高,這可以讓你迅速的形成商業(yè)模式。
5.具體的實(shí)現(xiàn)和應(yīng)用的速度要快,中國是發(fā)展中國家,速度一定要快,速度慢不僅不能追趕別人還會被落的更遠(yuǎn)。
6.用戶群和地域區(qū)域覆蓋一定要廣。要能跨越行業(yè)門檻。在技術(shù)上不要總想挑戰(zhàn)世界性的難題,只要挑戰(zhàn)你的門檻,能跨越這個(gè)高度也是可以行的。
7.社會經(jīng)濟(jì)發(fā)展的支撐度。如果你跑到貴州一個(gè)鄉(xiāng)里面搞智慧城鎮(zhèn),那他們的收入和需求,根本沒辦法支撐信息系統(tǒng)建設(shè)的成本。
8.行業(yè)的關(guān)聯(lián)度、滲透度和應(yīng)用維度。你做的數(shù)據(jù)產(chǎn)品服務(wù)除了關(guān)注你這個(gè)行業(yè)以外還要能為別的行業(yè)服務(wù)。關(guān)聯(lián)度越高,成功的可能性越大。即使我選擇錯(cuò)了,也能夠轉(zhuǎn)向調(diào)頭。
9.原有行業(yè)規(guī)模競爭激烈的程度。行業(yè)的規(guī)模盡量大,競爭盡量的激烈,它正在轉(zhuǎn)型期,需要這樣一個(gè)創(chuàng)新的手段去推動。
如果用以上這些指標(biāo)去衡量阿里巴巴、淘寶、facebook、推特,它們幾乎完全滿足。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03