
你所不知道的大數(shù)據(jù)、云計(jì)算,以及無法計(jì)算的價(jià)值
毫不吹牛的說,單憑這個(gè)標(biāo)題,就能讓這篇文章裝著13輕輕松松過大年。但凡有不服者,請(qǐng)你告訴我旁邊的這位大嬸兒,什么叫大數(shù)據(jù),什么是云計(jì)算。你要能讓大嬸兒聽明白了,我就服你。認(rèn)慫了吧?來,看我的。
不管你能不能看見,這都是一個(gè)全新的世界
1590年,有一個(gè)名叫札恰里亞斯·詹森的荷蘭眼鏡制造商人,發(fā)明了一種借助物理方法使物體放大影象的儀器,名曰顯微鏡,從此,人類看到了一個(gè)全新的世界,走入原子時(shí)代。
1609年,有一個(gè)名叫伽利略的人,用平凸透鏡作為物鏡,凹透鏡作為目鏡,制作了一架口徑4.2厘米,長(zhǎng)約1.2米的望遠(yuǎn)鏡。他用這架望遠(yuǎn)鏡指向太空,看到了一個(gè)全新的世界,天文學(xué)從此進(jìn)入了望遠(yuǎn)鏡時(shí)代。
1842年,有一個(gè)名叫多普勒的奧地利物理學(xué)家,率先提出利用多普勒效應(yīng)的多普勒式雷達(dá)。雷達(dá)的英文直譯是“無線電探測(cè)和測(cè)距”,即用無線電的方法發(fā)現(xiàn)目標(biāo)并測(cè)定它們的空間位置,因此雷達(dá)也被稱為“無線電定位”。
伽里略發(fā)明天文望遠(yuǎn)鏡,讓人類突然意識(shí)到世界不是原來眼睛看到的那樣。需要明確一點(diǎn),人類不是因?yàn)橹朗澜缡鞘裁礃佣グl(fā)明了望遠(yuǎn)鏡,而是因?yàn)橛辛送h(yuǎn)鏡,才知道世界是什么樣。顯微鏡也是一樣的道理,當(dāng)你離開顯微鏡的時(shí)候,你要想一想通過顯微鏡看到的那個(gè)世界是不是真實(shí)存在。
給你12秒,想一想……
你想的都對(duì)!互聯(lián)網(wǎng)、數(shù)據(jù)和計(jì)算,就像人類歷史上三個(gè)非常重要的工具——望遠(yuǎn)鏡、顯微鏡和雷達(dá)的發(fā)明,讓人類看見了原來看不見的世界,看見了歷史上沒有見過的東西。
能說出這么深入淺出的道理,自然不是我,而是阿里巴巴CTO王堅(jiān)博士。王堅(jiān)博士被業(yè)界譽(yù)為云計(jì)算的布道者,在近年來的公開演講中多次闡述他對(duì)互聯(lián)網(wǎng)、計(jì)算和數(shù)據(jù)的理解。1月20日,云棲大會(huì)上海峰會(huì)召開,王堅(jiān)博士在主題演講中表示,現(xiàn)在人們看數(shù)據(jù)都是通過計(jì)算去看,就像人類發(fā)明顯微鏡以后,研究微觀世界都是通過顯微鏡看到的。同理,我們要相信那個(gè)人眼看不見的、被計(jì)算出來的數(shù)據(jù)世界。
他說,“傳統(tǒng)行業(yè)或者傳統(tǒng)軟件公司不覺得鼠標(biāo)點(diǎn)擊有意義有價(jià)值,不覺得那是一個(gè)活生生的世界,但是互聯(lián)網(wǎng)是把它當(dāng)生命來看。在互聯(lián)網(wǎng)上點(diǎn)擊鼠標(biāo)就能知道用戶的興趣,能創(chuàng)造價(jià)值,這是互聯(lián)網(wǎng)公司真正的能力,而不是別的東西,這是顯微鏡的作用。”
想不想在數(shù)據(jù)時(shí)代也能分得一杯羹?
不得不承認(rèn),王堅(jiān)博士總是能用大嬸兒都能理解的語(yǔ)言,完美解釋無比高深的科學(xué)問題。
在談到數(shù)據(jù)的時(shí)候,他說,因?yàn)榛ヂ?lián)網(wǎng)這個(gè)基礎(chǔ)設(shè)施的存在,數(shù)據(jù)就像土地、石油、煤一樣,成為了DT時(shí)代的生產(chǎn)資料。為了利用好數(shù)據(jù)這一生產(chǎn)資料,發(fā)揮出數(shù)據(jù)的巨大價(jià)值,他號(hào)召在場(chǎng)的每一人學(xué)習(xí)小崗村的農(nóng)民,做互聯(lián)網(wǎng)時(shí)代地球村的“數(shù)據(jù)農(nóng)民”。
“關(guān)于數(shù)據(jù)這件事情,大家都處于像中國(guó)三十年前改革開放的起點(diǎn),不知道土地上種什么,種的東西不知道是誰(shuí)擁有的?!蓖鯃?jiān)強(qiáng)調(diào),“在座的各位有一次機(jī)會(huì),我們一起為全世界做一次小崗村農(nóng)民做的事情,思考如何讓土地產(chǎn)生價(jià)值,如何讓數(shù)據(jù)產(chǎn)生價(jià)值,并且產(chǎn)生的價(jià)值不會(huì)有糾紛,所有權(quán)清晰。這是數(shù)據(jù)產(chǎn)業(yè)非常重要的機(jī)會(huì)?!?
王堅(jiān)認(rèn)為,當(dāng)互聯(lián)網(wǎng)變成基礎(chǔ)設(shè)施、數(shù)據(jù)成為生產(chǎn)資料、計(jì)算成為公共服務(wù)的時(shí)候,所有的企業(yè)、所有的行業(yè)又站在同一條起跑線上:個(gè)人創(chuàng)業(yè)者的影響力可以和一萬(wàn)人的大公司影響力相比,而一萬(wàn)人的大公司又具備了小公司的靈活性。
說的這么好,如何才能成為數(shù)據(jù)時(shí)代的數(shù)據(jù)農(nóng)民呢?據(jù)說下面這個(gè)叫做“數(shù)加”的家伙可以幫到你。
帶你看懂全球首個(gè)一站式大數(shù)據(jù)平臺(tái)“數(shù)加”
有人說,2016年才是真正意義上的大數(shù)據(jù)元年。這句話聽著好熟悉……
在過去的5年里,全球大數(shù)據(jù)計(jì)算性能實(shí)現(xiàn)了超過20倍的增長(zhǎng),100TB數(shù)據(jù)排序時(shí)間由8274秒縮短到377秒。束縛大數(shù)據(jù)的技術(shù)瓶頸已經(jīng)被完全打破,數(shù)據(jù)將從企業(yè)的成本中心轉(zhuǎn)變?yōu)閮r(jià)值中心。
與此同時(shí),IDC出版的數(shù)字世界研究報(bào)告顯示,2013年人類產(chǎn)生、復(fù)制和消費(fèi)的數(shù)據(jù)量達(dá)到4.4ZB。而到2020年,數(shù)據(jù)量將增長(zhǎng)10倍,達(dá)到44ZB。大數(shù)據(jù)已經(jīng)成為當(dāng)下人類最寶貴的財(cái)富。但全球真正享受大數(shù)據(jù)紅利的公司不足千分之一,人類已挖掘的數(shù)據(jù)財(cái)富更是不到百萬(wàn)分之一。
沒錯(cuò),這是一個(gè)人人都在談大數(shù)據(jù)的時(shí)代,每年都談,談了好幾年了,但是,真正在用大數(shù)據(jù)的卻只有極少數(shù)人。為什么呢?說來話長(zhǎng),暫且不表。今天說一說,為啥2016才是真正的大數(shù)據(jù)元年,因?yàn)橛辛恕皵?shù)加”。
1月20日的云棲大會(huì)上海峰會(huì)上,阿里云宣布開放阿里巴巴十年的大數(shù)據(jù)能力,發(fā)布全球首個(gè)一站式大數(shù)據(jù)平臺(tái)“數(shù)加”,首批亮相20款產(chǎn)品,覆蓋數(shù)據(jù)采集、計(jì)算引擎、數(shù)據(jù)加工、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)應(yīng)用等數(shù)據(jù)生產(chǎn)全鏈條?!斑@些技術(shù)至少領(lǐng)先業(yè)界三年”,阿里云大數(shù)據(jù)事業(yè)部資深總監(jiān)徐常亮說。
這個(gè)平臺(tái)承載了阿里云“普惠大數(shù)據(jù)”的理想——讓全球任何一個(gè)企業(yè)、個(gè)人都能用上大數(shù)據(jù)。
開放、開放、開放,重要的事情說三遍
過去10年來,阿里巴巴積累了令行業(yè)艷羨不已的龐大數(shù)據(jù),那就是一筆巨大的財(cái)富,就像煤炭一樣,趴在你家山頭下面。那么,突然有一天,你說大家都來一起開采吧,對(duì)外開放,情形會(huì)怎樣呢?
“數(shù)加”就是要把阿里巴巴的大數(shù)據(jù)向外界開放。據(jù)了解,“數(shù)加”正在向有數(shù)據(jù)開發(fā)能力的外界的第三方團(tuán)隊(duì)開放,這些團(tuán)隊(duì)可入駐“數(shù)加”,借助數(shù)加上的工具為各行各業(yè)提供數(shù)據(jù)服務(wù)。
“這就像在淘寶開店一樣,只是他們售賣的是專業(yè)能力?!毙斐A帘硎荆⒗镌朴?jì)劃用3年時(shí)間吸引1000家合作伙伴入駐,共同分享1萬(wàn)億的大數(shù)據(jù)蛋糕。
借助大數(shù)據(jù)技術(shù),阿里巴巴取得了巨大的商業(yè)成功。通過對(duì)電子商務(wù)平臺(tái)上的客戶行為進(jìn)行分析,誕生了螞蟻小貸、花唄、借唄;菜鳥網(wǎng)絡(luò)通過電子面單、物流云、菜鳥天地等數(shù)據(jù)產(chǎn)品,為快遞行業(yè)的升級(jí)提供技術(shù)方法。
在這些創(chuàng)新中,“數(shù)加”承載了阿里巴巴EB級(jí)別的數(shù)據(jù)加工計(jì)算,經(jīng)歷了上萬(wàn)名工程師的實(shí)戰(zhàn)檢驗(yàn)。大麥網(wǎng)是阿里云“數(shù)加”平臺(tái)的嘗鮮者。通過采用“數(shù)加”的推薦引擎,大麥網(wǎng)的研發(fā)成本從900人天降低到了30人天,效率提升了30倍。
大數(shù)據(jù)喊了那么多年,阿里云開始帶大家真刀真槍地玩
“過去6年來,阿里巴巴巨大的戰(zhàn)略投資就是放在云計(jì)算和大數(shù)據(jù)服務(wù)上。我們相信人類已經(jīng)從IT時(shí)代在步入DT時(shí)代?!瘪R云在2015年致投資者公開信中表示,“我們必須在數(shù)據(jù)技術(shù)的投入和發(fā)展上不惜一切的投入發(fā)展,我們正在努力讓數(shù)據(jù)和計(jì)算能力成為普惠經(jīng)濟(jì)的基礎(chǔ)?!?
馬云所說的DT技術(shù)正在通過“數(shù)加”變現(xiàn),這個(gè)集成了人工智能、機(jī)器學(xué)習(xí)、智能語(yǔ)音等前沿技術(shù)的阿里云大數(shù)據(jù)平臺(tái),讓沒有足夠技術(shù)實(shí)力的公司,也能實(shí)現(xiàn)從數(shù)據(jù)中提煉“石油”。
“未來3年,大數(shù)據(jù)市場(chǎng)規(guī)模將達(dá)到1萬(wàn)億元?!卑⒗镌瓶偛煤鷷悦髟诎l(fā)布會(huì)上表示,基于阿里云大數(shù)據(jù)平臺(tái)數(shù)加,將有千余家合作伙伴、萬(wàn)名首席數(shù)據(jù)官和5萬(wàn)數(shù)據(jù)科學(xué)家誕生,把中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模拓展至萬(wàn)億規(guī)模。
“大數(shù)據(jù)”一詞近年來在中國(guó)十分火熱,但真正的數(shù)據(jù)技術(shù)和工具平臺(tái)一直缺位?!爸袊?guó)的數(shù)據(jù)技術(shù)起步比硅谷晚,但我們看到互聯(lián)網(wǎng)巨頭們正在大量投入研發(fā)力量,來縮短差距?!盇lliance Development Group分析師David Sullivan表示,以阿里巴巴為典型的中國(guó)互聯(lián)網(wǎng)公司正在自己的商業(yè)場(chǎng)景中大規(guī)模使用數(shù)據(jù)技術(shù),技術(shù)上與硅谷幾乎沒有差距。
在發(fā)布會(huì)上,阿里云提及去年年底剛剛刷新的一項(xiàng)世界紀(jì)錄。在由數(shù)據(jù)庫(kù)之父Jim Gray創(chuàng)辦的排序基準(zhǔn)評(píng)估競(jìng)賽Sort Benchmark中,阿里云把100TB數(shù)據(jù)的排序時(shí)間縮短到了377秒,打破了此前由雅虎、微軟、斯坦福大學(xué)等公司與機(jī)構(gòu)保持的紀(jì)錄。
“數(shù)加”教你一星期做出雙11同款大屏
去年雙11,北京水立方的那塊巨大無比的直播大屏幕,想必大家都在新聞報(bào)道的配圖里見過了吧,實(shí)時(shí)展現(xiàn)阿里巴巴整體交易數(shù)據(jù),可視化效果,絕對(duì)震撼。想不想也來一塊?
“數(shù)加”之后,中國(guó)的縣長(zhǎng)們也能實(shí)現(xiàn)這樣的可視化管理了。云棲大會(huì)上海峰會(huì)上,阿里云發(fā)布了一款針對(duì)中國(guó)縣域經(jīng)濟(jì)的數(shù)據(jù)應(yīng)用產(chǎn)品,能讓每個(gè)縣域的管理者實(shí)時(shí)的了解區(qū)域的經(jīng)濟(jì)態(tài)勢(shì)、產(chǎn)業(yè)特點(diǎn)、內(nèi)需消費(fèi)等關(guān)鍵數(shù)據(jù)的走勢(shì),為政府決策提供支持,堪稱“師爺”。
據(jù)了解,這款命名為“郡縣圖治”的產(chǎn)品,使用了阿里云DataV數(shù)據(jù)可視化技術(shù)做支撐,將為3000余個(gè)縣域政府定制可視化經(jīng)濟(jì)云圖。今后,縣域經(jīng)濟(jì)的決策者辦公室里,可能將出現(xiàn)這樣一塊大屏,上面的每一個(gè)數(shù)字的跳動(dòng)都實(shí)時(shí)反映著當(dāng)?shù)乜h域經(jīng)濟(jì)的發(fā)展態(tài)勢(shì),縣長(zhǎng)們也不用再?gòu)暮窈竦亩ㄆ趫?bào)表中探尋經(jīng)濟(jì)發(fā)展的脈搏。
開發(fā)這樣一款”酷炫“的大屏需要多久?只要一周!阿里云工程師介紹,這款產(chǎn)品無需進(jìn)行任何的編程,只需進(jìn)行簡(jiǎn)單的部署、參數(shù)設(shè)置、數(shù)據(jù)連接,便可讓枯燥的統(tǒng)計(jì)數(shù)據(jù)直觀的呈現(xiàn)出來,幫助縣域經(jīng)濟(jì)決策者們快速發(fā)現(xiàn)問題作出決斷。
“我們希望通過數(shù)加的發(fā)布,讓政府、企業(yè)、個(gè)人都能享受到大數(shù)據(jù)的紅利
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場(chǎng)景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡(jiǎn)單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10