
大數(shù)據(jù)是時下互聯(lián)網(wǎng)行業(yè)最具熱度的詞匯之一。
其實早在1980年,未來學(xué)家阿爾文·托夫勒就在書中把大數(shù)據(jù)熱情贊頌為“第三次科技浪潮的華彩樂章”。
“預(yù)測”是大數(shù)據(jù)的力量核心
2008年,英國《自然》雜志首先提出了大數(shù)據(jù)概念。然而,什么是大數(shù)據(jù),依然眾說紛紜。目前比較流行的大數(shù)據(jù)特性被歸納為4個V,即Volume,Variety,Value,Velocity,分別對應(yīng):數(shù)據(jù)體量巨大;數(shù)據(jù)類型繁多;數(shù)據(jù)本身有潛在的價值,但價值比較分散;數(shù)據(jù)高速產(chǎn)生,需高速處理。
雖然目前對大數(shù)據(jù)還沒有一個共識性的定義,但它已然在改變我們的生存方式。
“大數(shù)據(jù)的核心就是預(yù)測,不是要教機(jī)器像人一樣思考,而是要把數(shù)學(xué)計算運(yùn)用到海量數(shù)據(jù)上,來預(yù)測事情發(fā)生的可能性”,被稱為“大數(shù)據(jù)時代預(yù)言家”的牛津大學(xué)網(wǎng)絡(luò)學(xué)院互聯(lián)網(wǎng)研究所治理與管理專業(yè)教授維克托·邁爾-舍恩伯格說。
預(yù)測,作為大數(shù)據(jù)的力量核心,早已被多次證明。
微軟公司全球常務(wù)副總裁布拉德·史密斯曾介紹說,微軟生產(chǎn)的一款數(shù)據(jù)驅(qū)動軟件,通過跟蹤取暖器、空調(diào)、風(fēng)扇以及燈光等積累下來的超大量數(shù)據(jù),便可知道如何杜絕能源浪費(fèi),“可以為世界節(jié)約40%的能源?!迸c之類似的,谷歌公司也通過對搜索關(guān)鍵詞進(jìn)行分析,比政府檢測部門提早兩周預(yù)測到禽流感散布,提供預(yù)警服務(wù)。
美劇《超感警探》中的心理專家只能依靠神奇的特異功能破獲毫無頭緒的案件。而現(xiàn)實中,洛杉磯警察已經(jīng)可以通過犯罪預(yù)測軟件的使用,計算出某地發(fā)生犯罪的概率、犯罪類型,以及最有可能犯罪的時間段,使洛杉磯山麓地區(qū)的盜竊案減少25%。
“大數(shù)據(jù)的出現(xiàn),使得通過數(shù)據(jù)分析獲得知識、商機(jī)和社會服務(wù)的能力,從以往局限于學(xué)術(shù)精英圈子擴(kuò)大到了普通的機(jī)構(gòu)、企業(yè)和政府部門?!盜T評論人謝文這樣評價大數(shù)據(jù)帶來的變化。
“大數(shù)據(jù)開啟了一個重大的時代轉(zhuǎn)型。就像望遠(yuǎn)鏡讓我們感受宇宙,顯微鏡讓我們能夠觀測到微生物一樣,大數(shù)據(jù)正在改變我們的生活以及理解世界的方式,成為新發(fā)明和新服務(wù)的源泉,而更多的改變正蓄勢待發(fā)”,維克托·邁爾-舍恩伯格預(yù)言,圍繞大數(shù)據(jù)的商業(yè)價值開發(fā)和利用,將成為行業(yè)人士爭相追捧的焦點(diǎn)。
多個領(lǐng)域試水大數(shù)據(jù)
“與國外相比,我國的大數(shù)據(jù)在產(chǎn)業(yè)覺醒、產(chǎn)業(yè)創(chuàng)新和投資等方面大約存在一年半的差距,主要體現(xiàn)在國外的基礎(chǔ)設(shè)施硬技術(shù)創(chuàng)新方面明顯超過我國。國內(nèi)目前多集中在泡沫較多的垂直應(yīng)用領(lǐng)域,但是這個差距并不可怕,基本上可以說還處在同一起跑線上?!薄洞髷?shù)據(jù)時代》譯者、電子科技大學(xué)互聯(lián)網(wǎng)科學(xué)中心主任周濤認(rèn)為。
近年來,國內(nèi)很多基于大數(shù)據(jù)技術(shù)的科技企業(yè)誕生,為互聯(lián)網(wǎng)行業(yè)甚至傳統(tǒng)行業(yè)帶來了新氣息。
2009年,蘇萌和朋友合伙成立了北京百分點(diǎn)信息科技有限公司,成為國內(nèi)最早從事第三方數(shù)據(jù)提供和分析的企業(yè)之一。他們通過分析客戶的消費(fèi)偏好,為企業(yè)提供精準(zhǔn)的營銷服務(wù),“我們實際是在為網(wǎng)絡(luò)上每個匿名的ID‘畫像’。通過多個維度分析,顧客偏好和特征逐漸清晰?!碧K萌介紹,當(dāng)顧客登錄凡客或者1號店時,機(jī)器會根據(jù)數(shù)據(jù)進(jìn)行分析,就像一位懂得讀心術(shù)的導(dǎo)購,能預(yù)測到顧客最有可能對哪件或者哪類商品感興趣。
除了像“百分點(diǎn)”這樣從事第三方數(shù)據(jù)提供的公司,很多大型互聯(lián)網(wǎng)公司早已通過挖掘自身數(shù)據(jù)資源,為己所用。同時,一些高校也開始試水大數(shù)據(jù)。如華東師范大學(xué)云計算與大數(shù)據(jù)科學(xué)與工程研究院的建立,“通過開展大數(shù)據(jù)相關(guān)的基礎(chǔ)和應(yīng)用研究,集聚和造就一批大數(shù)據(jù)研究創(chuàng)新團(tuán)隊,培養(yǎng)一批具備大數(shù)據(jù)思維方式和分析能力的創(chuàng)新型人才?!比A東師范大學(xué)副校長朱自強(qiáng)說。
近年來,國家也積極布局大數(shù)據(jù)。2011年,工信部發(fā)布物聯(lián)網(wǎng)“十二五”規(guī)劃,把信息處理技術(shù)作為4項關(guān)鍵技術(shù)創(chuàng)新工程之一,其中包括海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘、圖像視頻智能分析,都是大數(shù)據(jù)的重要組成部分。我國還把基于物聯(lián)網(wǎng)、云計算等新一代信息技術(shù)的智慧城市建設(shè)搬上日程。目前,我國智慧城市試點(diǎn)已達(dá)193個,將在智慧交通、醫(yī)療、家居等方面與大數(shù)據(jù)建立聯(lián)系。
“互聯(lián)網(wǎng)大數(shù)據(jù)是和公眾最接近的大數(shù)據(jù)應(yīng)用,但在科學(xué)研究、企業(yè)和政府決策、金融等領(lǐng)域的大數(shù)據(jù)應(yīng)用對我們生活的影響力可能會更大。對有些行業(yè),數(shù)據(jù)的利用可能會顛覆原有的采購、生產(chǎn)、銷售等決策流程。”華東師范大學(xué)軟件學(xué)院教授錢衛(wèi)寧認(rèn)為。
增加用戶隱私泄露的風(fēng)險
有一個經(jīng)典案例被從事大數(shù)據(jù)的人常常提到。
一位生活在美國的父親怒氣沖沖地跑到一家超市與經(jīng)理大吵,原因是只有15歲的女兒購物后,回家發(fā)現(xiàn)商品中被加入了很多針對嬰兒孕婦商品的廣告。
兩周后,父親向經(jīng)理道歉,這時他才知道自己女兒已經(jīng)懷孕近兩個月,父女都不知道,可是數(shù)據(jù)分析公司已經(jīng)根據(jù)她女兒近期的網(wǎng)絡(luò)數(shù)據(jù)預(yù)測到,接著把數(shù)據(jù)推送給超市,告訴他們可能有一個已經(jīng)懷孕的顧客正在購物。
還有一個離我們比較近的例子。華東師大數(shù)據(jù)中心的預(yù)警系統(tǒng)模塊之一,餐飲預(yù)警系統(tǒng)可以對學(xué)生的餐飲消費(fèi)數(shù)據(jù)進(jìn)行統(tǒng)計分析,發(fā)現(xiàn)低于警戒值就會發(fā)出短信慰問,確定學(xué)生是否有經(jīng)濟(jì)困難。
這就是大數(shù)據(jù)洞察人的方式。在體會到大數(shù)據(jù)神奇力量的同時,也讓很多人對自身數(shù)據(jù)安全而擔(dān)憂。
“大量數(shù)據(jù)的匯集不可避免地加大了用戶隱私泄露的風(fēng)險。一方面,數(shù)據(jù)集中存儲增加了泄露風(fēng)險,也成為人身安全的一部分;另一方面,一些敏感數(shù)據(jù)的所有權(quán)和使用權(quán)并沒有明確界定,很多基于大數(shù)據(jù)的分析都未考慮到其中涉及的個體隱私問題?!惫I(yè)和信息化部賽迪智庫的馮偉在刊載于媒體的署名文章中指出。
對一般用戶的擔(dān)憂,周濤卻認(rèn)為,普通用戶如果要真正融入大數(shù)據(jù)時代,享受個性化專屬信息服務(wù),不得不犧牲一部分個人隱私。
“政府和業(yè)界需要做的,是設(shè)計非常苛刻嚴(yán)格的法律條例和行業(yè)規(guī)則,全力打擊那些除了提供非侵入性的或用戶同意的服務(wù)外,以傷害用戶的方式利用用戶隱私牟利的企業(yè)。通過提高對侵害用戶隱私行為的懲罰力度,使得這種行為本身變得得不償失?!敝軡J(rèn)為這才是根本保護(hù)治理數(shù)據(jù)安全的辦法。
“大數(shù)據(jù)對技術(shù)和應(yīng)用所帶來的挑戰(zhàn)是全方位的。”錢衛(wèi)寧認(rèn)為,“數(shù)據(jù)資產(chǎn)化后,數(shù)據(jù)監(jiān)護(hù)將成為一個新的核心問題,是對數(shù)據(jù)的產(chǎn)生、收集、保存、維護(hù)、處理、利用的整個生命周期的管理。數(shù)據(jù)安全與隱私保護(hù)也是數(shù)據(jù)監(jiān)護(hù)的一個方面。有效的數(shù)據(jù)監(jiān)護(hù)和服務(wù)模型是大數(shù)據(jù)從一系列的問題走向成功應(yīng)用的關(guān)鍵。
CDA數(shù)據(jù)分析師數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓(xùn)練與驗證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11