
潘杭琳:大數(shù)據(jù)是共享型資源_數(shù)據(jù)分析師考試
“中國制造2025暨德國工業(yè)4.0峰會”于2015年7月2日在北京召開。中德設(shè)計(jì)協(xié)會常務(wù)副會長潘杭琳出席并演講。
以下為演講實(shí)錄:
潘杭琳:大家下午好!
我姓潘,潘杭琳,在德國15年,今天非常榮幸,我們受中小企業(yè)協(xié)會的邀請,到這里來。我和大家分享一下這十幾年在德國看著數(shù)據(jù)科學(xué)是怎么一步一步從最初的一些科研項(xiàng)目,然后一步一步被社會化網(wǎng)絡(luò)推動著,最后變成相當(dāng)于誰也無法用原有的一些框架去迎接它的挑戰(zhàn)的這么一種形式。然后又看到全世界的這些數(shù)據(jù)科學(xué)家是怎么樣群策群力來解決真正的海量大數(shù)據(jù)的。
我們一直以來都是在不斷地對數(shù)據(jù)加深理解,在座的都知道,計(jì)算機(jī)存在的時候,它就叫做信息了。很多的數(shù)據(jù)只要能存起來,它就是信息。有用的信息叫做數(shù)據(jù),有用的數(shù)據(jù)叫做規(guī)則,有用的規(guī)則叫做智慧。有一種說法就是信息、數(shù)據(jù)、規(guī)則、智慧,這四步。
真正對我們?nèi)祟愑杏玫膽?yīng)該是最后一步,就是智慧。要達(dá)到智慧這一步,我們經(jīng)歷了各種各樣的探索,曾經(jīng)做過一個項(xiàng)目,有過好多學(xué)科進(jìn)行交叉,有過存在論,有過智庫,有過數(shù)據(jù)挖掘,一步一步,到最近在中國,反正前兩年一下子大數(shù)據(jù)這個名詞起來了。其實(shí)大數(shù)據(jù)這個名詞1980年就有了。
2014年,大家就看到了很多流數(shù)據(jù),視頻流也好,這個數(shù)據(jù)過去就沒有的,但是這個數(shù)據(jù)我們還是需要從它里面提煉出一些東西來的。2014年,我們有一個新名詞叫做塊數(shù)據(jù),這個是新成立的貴州大數(shù)據(jù)產(chǎn)業(yè)園他們有一個好的說法,它把一些數(shù)據(jù)成塊,作為塊里面是共享了,它叫做塊數(shù)據(jù)。
我們從一個更廣闊的領(lǐng)域來看,大數(shù)據(jù)應(yīng)該像海一樣的,叫海數(shù)據(jù),我的數(shù)據(jù)可以放在公開的地方,大家都可以享用,這才是真正的大數(shù)據(jù)。后面的幾頁,我就跟大家講大數(shù)據(jù)快車不是現(xiàn)在才有的,一直就有,只是我們要走對路,要走對真正的大數(shù)據(jù)。LOOD就是連在一起的開放數(shù)據(jù),這才是我們認(rèn)為的大數(shù)據(jù)。
我先介紹一下我自己本人,我在德國是在馬克斯。普朗克研究院信息研究所,右上方是德國的計(jì)算機(jī)之父,是他在整個德國之內(nèi)把各個計(jì)算機(jī)系建起來的。他最經(jīng)典的理論就是他理解了相等理論,他知道了信息商是怎么來的,知道信息的本原是什么。我在馬克斯普朗克研究院12年,來來往往后面一起合作。通過這個平臺接觸到了全世界范圍之內(nèi)的各類廣大數(shù)據(jù)的領(lǐng)域的團(tuán)隊(duì)和機(jī)構(gòu)。
目前大家都講工業(yè)2025和工業(yè)4.0,其實(shí)工業(yè)2025和工業(yè)4.0也少不了數(shù)據(jù),我們看看信息化,人工智能實(shí)用化兩頭是怎么走的。馬克斯普朗克研究院,德國的諾貝爾獎有一半來自于這個研究院,由它很自然召集起我們所說的世界級研究機(jī)構(gòu)一起來看看大數(shù)據(jù)這個難題。他們成立了一個OPENLINKED DATA,我們是最早的發(fā)起人之一。
大數(shù)據(jù)最早用的是IBM[微博]的WATSON,它做了2014年600億美金的產(chǎn)值,但是你去查一下IBM的WATSON,它的白皮書里面唯一引用的兩個科研成果,一個就是來自于我們團(tuán)隊(duì),就是剛才那張照片里面的團(tuán)隊(duì)。
我們團(tuán)隊(duì)也跟斯坦福和麻省理工大學(xué)對換博士生,我們承接VLDB,真正的大數(shù)據(jù)國際協(xié)會,還有國際數(shù)據(jù)工程,然后網(wǎng)絡(luò),然后信息檢索,還有數(shù)據(jù)管理等等這些國際化的最頂層的搞大數(shù)據(jù)的專業(yè)協(xié)會,都是我們這個團(tuán)隊(duì)很多人分別當(dāng)各類的評審,然后組織者這樣的。
我自己本人現(xiàn)在是國家科技資源共享服務(wù)工程技術(shù)研究中心的特聘專家,這是共享,突出一個字,資源共享,我們提供了很多的公開數(shù)據(jù)供全中國的人,甚至全世界的人來享用。
我們在當(dāng)?shù)?,在薩爾這個地方,有很多德國朋友都知道薩爾是非常小的小地方,但是這個小地方很特殊,它有德國國家人工智能研究中心,它擁有了SMARTFACTORY,也就是智慧工廠全世界的注冊商標(biāo)。所以,實(shí)際上工業(yè)4.0里面核心的這個東西,是來自于DFK1,LPI和NLP連在一起的,這個就是自然語言處理。把人都理解不了的東西用計(jì)算機(jī)來理解,最后做了人是沒有這個智力,也沒有這個時間去把全世界的信息全部整理起來一個智庫的,但是我們可以用計(jì)算機(jī)來幫我們做。
當(dāng)然,我也擔(dān)任了中科院的一個項(xiàng)目職務(wù)。
這叫做海數(shù)據(jù),我們最初在這個地方,我們的位置是在這個地方,德國是最先的先期,可能這個就是整個網(wǎng)站,整個雅虎所有數(shù)據(jù)就是這一個點(diǎn)。一般來說,整個網(wǎng)站在我們這里就屬于一個節(jié)點(diǎn),然后我們把這個節(jié)點(diǎn)按照類別,大家按照一個接口全部公開連在一起,這才是大數(shù)據(jù)。
工業(yè)4.0是大數(shù)據(jù)下面有工業(yè)大數(shù)據(jù)以后產(chǎn)生的量,肯定比剛才產(chǎn)生的互聯(lián)網(wǎng)的數(shù)據(jù)還要大,原因它是流性質(zhì)的,這個數(shù)據(jù)流過來流走的,你要及時處理了。如果你連這個都處理不了,后面就更加不可想象了。
因此,我們在考慮大數(shù)據(jù)基礎(chǔ)架構(gòu)之下,我們再如何看相當(dāng)于對傳統(tǒng)產(chǎn)業(yè)進(jìn)行發(fā)展模式、組織結(jié)構(gòu)和價值理念的重新構(gòu)造。我們有足夠多的案例幫助大家實(shí)現(xiàn)原來不可想象的大數(shù)據(jù)的管理。
大數(shù)據(jù)BT本身也像馬云[微博]所說的,它是一個共享型的,我有的資源和你有的資源,我們都要拿出來,拿出來才有價值。當(dāng)然要有一個保護(hù)的機(jī)制,但是雙方一定要拿出來。
有一些觀點(diǎn)也是可以共享的,這里就非??粗?60公司的傅志華,他覺得企業(yè)里面就有一個畫像,他覺得企業(yè)里面的數(shù)據(jù)就有數(shù)據(jù)基礎(chǔ)平臺,有業(yè)務(wù)運(yùn)營監(jiān)控,有用戶體驗(yàn)優(yōu)化,有精細(xì)化營銷,有市場傳播,還有經(jīng)營分析,還有戰(zhàn)略分析,我覺得他寫得非常好。
我們想做的事情是,這是按照中國的企業(yè)的實(shí)際情況,它對應(yīng)到大數(shù)據(jù)的一些應(yīng)用上去,我們能做的是幫助它怎么樣來進(jìn)行這個跨越。企業(yè)的大數(shù)據(jù)應(yīng)用的路線圖應(yīng)該是怎么樣的。
對于企業(yè)家來說,我們不應(yīng)該給他講太多理論的東西,或者科研的東西,或者國外的東西,你就告訴他,一只手掌拿出來,你就告訴他五個“一”,這五個“一”他都知道什么意思,他就能用好大數(shù)據(jù)了。
第一,疑問。你的企業(yè)里面基礎(chǔ)數(shù)據(jù)到底有哪些,哪些是可以數(shù)字化的,哪些是可以信息化的。
第二個,意向。企業(yè)用大數(shù)據(jù)想做什么,到底是做營銷,還是做市場,還是做體驗(yàn),還是做運(yùn)營監(jiān)控呢。你的意向,這個企業(yè)家要知道。
然后,要依托。你到底依托什么層次的人來對接,是依托科研性機(jī)構(gòu),還是公益性機(jī)構(gòu),還是專業(yè)的企業(yè)、商業(yè)公司,還是相當(dāng)于國家的,也就是說國家隊(duì),或者是政府。這是你依托誰,跟誰一起合作最合適,這些一定要做好。
第四,依據(jù)。假如通過你的合作伙伴,因?yàn)槲覀冏约阂粋€公司不大可能去培養(yǎng)一個數(shù)據(jù)科學(xué)家的,數(shù)據(jù)科學(xué)家起碼要十年培養(yǎng)。數(shù)據(jù)分析師倒是可以培養(yǎng)的,數(shù)據(jù)操作員更加可以培養(yǎng)。但是你培養(yǎng)這些人以后,這些數(shù)據(jù)幫你挖掘出什么來,哪些數(shù)據(jù)是能產(chǎn)生的,你把第四步依據(jù)和第五步依存做得好,你只要能夠挖掘出數(shù)據(jù)的,哪怕你這個公司目前情況不好,你放心,在心里這個時代上,你的價值一定是陪著你的數(shù)據(jù)而存在的,就像一滴水,你這滴水放在平地里馬上就會消失,但是放在大海里,永遠(yuǎn)不會干涸。這就是大數(shù)據(jù)要讓你走到的這條路上,要有方法,又要有源數(shù)據(jù)20%,又要有數(shù)據(jù)檢索,讓你把意向、依托搞得更明確。然后要依據(jù)智慧的云服務(wù)幫你做,最后達(dá)到一個決策數(shù),整體上,為你這個企業(yè)站好一個位置。
我們舉一個例子吧,比如說,我講我原來的校長,我原來浙大出來的,潘云鶴校長,目前有很多搜索引擎,我要找一下關(guān)于某一個人的基本概況,比如我現(xiàn)在為企業(yè)上一個項(xiàng)目,這個項(xiàng)目可能需要查一些資料,我們用大數(shù)據(jù)幫他查。比如這樣一查,他的旁邊我知道他的論文合作關(guān)系是誰,專利合作關(guān)系是誰,項(xiàng)目合作關(guān)系是誰,這個數(shù)據(jù)在大數(shù)據(jù)下面全有。我還可以查這個項(xiàng)目最近幾年怎么樣怎么樣,近幾年項(xiàng)目多少、專利多少、論文多少,我還可以查項(xiàng)目的具體信息。它的主要專業(yè),計(jì)算機(jī)這才是真正的智慧化的檢索。你要查一個人的時候,它會把這個人一切相關(guān)的專業(yè)方向全給你找出來,這是更加靠近人們所需要的對搜索引擎的一個要求。
其中,比如對傳感器、網(wǎng)絡(luò)不是很了解,我還可以對任何一個專業(yè)的任何一個術(shù)語再進(jìn)行深入,任何一個學(xué)科的專業(yè)術(shù)語都能查出來中國最好的應(yīng)該在哪里,最好的機(jī)構(gòu)應(yīng)該在哪里。用這種方式,真正把全中國的這些公開的數(shù)據(jù)全部都給它一網(wǎng)打盡。每一類又能知道某一個熱點(diǎn)的事情,它在市場上,哪個地方最熱,這個項(xiàng)目哪個項(xiàng)目是熱點(diǎn)比較多一點(diǎn)。
所以,總的來說,只要大家把這個思路改過來,相當(dāng)于用五個“一”,每一步都找對合適的合作伙伴,大數(shù)據(jù)不是那么遙不可及的,大家數(shù)據(jù)還是很容易能夠碰得到的。不過,千萬不要拿著造石子路的技術(shù)去修一個賽車道,然后讓賽車去跑,這個太浪費(fèi)了。我們最終科研大概是引領(lǐng)七到八年的,技術(shù)是引領(lǐng)三到四年的,企業(yè)是引領(lǐng)半年的。我們希望企業(yè)家一方面學(xué)習(xí)德國的培訓(xùn)的這一塊,然后另一方面他要學(xué)會向科技提早五年看,提早三年看。技術(shù)是提早三年到五年,還有像科技,科學(xué),科學(xué)是提早七年、八年看。我希望通過這么一個呼吁,希望大家更加多地和各種機(jī)構(gòu)合作,最后只會讓我們大家在一個共享,相當(dāng)于眾智分時、共享經(jīng)濟(jì)的框架下,真正把我們的實(shí)體經(jīng)濟(jì),把我們的企業(yè)走到數(shù)據(jù)時代的大浪潮當(dāng)中去。
最后我想說一句話,連美國的GE,通用汽車公司的老總CEO去年就說了,前一天晚上,我躺在床上還清清楚楚知道我們整個大企業(yè),當(dāng)然是美國制造業(yè)的龍頭了,還是制造型企業(yè)。但是早上一早起來,就發(fā)現(xiàn)GE已經(jīng)是一個數(shù)據(jù)公司了。既然他們都可以這樣說,我們在座的各個企業(yè)家一定一定也要走到數(shù)據(jù)經(jīng)濟(jì)的浪潮里面來,走到這條大數(shù)據(jù)的快車道上面去。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓(xùn)練與驗(yàn)證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計(jì)基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計(jì)基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11