
假如給你一天大數(shù)據(jù)的生活_數(shù)據(jù)分析師培訓(xùn)
百度在北京舉辦大數(shù)據(jù)引擎技術(shù)論壇。百度董事長兼CEO李彥宏難得一見出現(xiàn)在論壇上。他在十分鐘的演講里,最讓我印象深刻的是他提到一個觀點,即互聯(lián)網(wǎng)在逐個改變傳統(tǒng)行業(yè),但誰來改變互聯(lián)網(wǎng)?他給出的答案是技術(shù)。那么這個技術(shù)會是什么?李彥宏的答案是大數(shù)據(jù)技術(shù)。
大數(shù)據(jù)這個概念火了好幾年了。最早的時候我看過一本叫做《大數(shù)據(jù)時代》的書,里面列舉了一些大數(shù)據(jù)的應(yīng)用。印象中有這么一個例子,記得不是特別準(zhǔn)確,大致意思說的是,在美國,某個當(dāng)?shù)挠幸惶焓盏揭粋€電商公司寄來的關(guān)于嬰幼兒產(chǎn)品的廣告信息。他很憤怒地,覺得這種垃圾廣告騷擾到了自己。他甚至找到這個電商公司理論。結(jié)果幾個月之后,他知道自己的女兒未婚先孕,他要當(dāng)外公了。而電商公司之所以能提前預(yù)測到他對嬰幼兒產(chǎn)品的需求,是因為根據(jù)他女兒此前的購物、搜索和社交網(wǎng)絡(luò)等信息所作出的猜測。
推薦購物。這是很多人對于大數(shù)據(jù)應(yīng)用的了解。那么幾年過去了,大數(shù)據(jù)技術(shù)的應(yīng)用到底發(fā)展到一個怎樣的層次和水平?今天新聞觀止就結(jié)合百度大叔就搜索引擎上幾個嘉賓提到的案例,通過虛擬一天的大數(shù)據(jù)生活,來讓大家對大數(shù)據(jù)這個技術(shù)有更多直觀的了解。
大家準(zhǔn)備好了嗎?來吧,大數(shù)據(jù)的一天開始了。
一早上,你被手機鬧鐘叫醒。昨晚你帶著一款小型可穿戴設(shè)備睡覺的。這個設(shè)備連接著你手機里的一款大數(shù)據(jù)的APP,你打開它。就可以看到昨晚你睡覺時候的身材狀況。比如你是什么時候晨勃的,勃起了幾次。另外你昨晚睡覺翻身了幾次,心跳和血壓狀況都有一個詳細的統(tǒng)計告訴你。最后這個軟件會告訴你,根據(jù)昨晚你的身體狀況,建議你今天出門之前喝點什么,或者回家的時候記得去藥店帶回點維生素之類的營養(yǎng)品。
現(xiàn)在已經(jīng)有很多可穿戴設(shè)備能夠24小時每天監(jiān)控我們的健康狀況,包括了我們的血壓、心跳、睡眠狀況、運動狀況。檢測我們汗液、血液,監(jiān)測我們身體情況。當(dāng)我們把24小時檢測數(shù)據(jù)上傳到大數(shù)據(jù)中心,跟醫(yī)院關(guān)聯(lián)以后,就會產(chǎn)生新的價值點出來。
用心臟病做一個例子,我們每年有幾百萬人得了心臟病,如果我們的大數(shù)據(jù)中心具有很好的計算能力,我們能夠從這幾百萬患者的24小時監(jiān)控數(shù)據(jù)里頭找到它的共性。我們提前兩天給人發(fā)預(yù)警,如果你再這樣下去就有可能得心臟病,由醫(yī)院給人群發(fā)出警告。
在大數(shù)據(jù)時代,便攜式的可穿戴傳感器會越來越多,設(shè)備越來越多。原來在醫(yī)院做,現(xiàn)在都可以在家做。這個帶來的變化是你可以7*24小時對身體的進行監(jiān)測。在西方有個非常時髦的術(shù)語叫量化自我,時刻想知道自己身體上的變化。在美國量化自我的先鋒們,每兩周做一次核磁共振,然后去做血的檢查。這些設(shè)備產(chǎn)生出來所有的數(shù)據(jù),全部都存儲在云端,它的數(shù)據(jù)慢慢在云端去積累,當(dāng)量達到一定階段就是數(shù)據(jù)的量變了。
大數(shù)據(jù)對于醫(yī)生和醫(yī)院都將帶來改變。百度搜索研發(fā)部副總監(jiān)高亮舉個了例子,他一個同學(xué)岳母,年輕時候一直在協(xié)和醫(yī)院看病,到今天為止已經(jīng)80歲了。到醫(yī)院慢慢積累這個病例,這個病例也就是牛皮紙這么厚,這么大一個袋子,大概250px厚,這是一個人一生的醫(yī)療數(shù)據(jù)。
現(xiàn)在這些紙質(zhì)的數(shù)據(jù)慢慢變成了電子化。但這個數(shù)據(jù)太大,大到你沒有傳統(tǒng)辦法去看,去分析,去識別。僅僅是三個月醫(yī)療數(shù)據(jù),讓醫(yī)生看一下,醫(yī)生可能都沒有辦法,也沒有時間看,他一定需要一些工具才把特征提取出來,輔助他做出診斷。
此外,對醫(yī)院來說,數(shù)據(jù)大了帶來兩個問題,醫(yī)院現(xiàn)有IT系統(tǒng)比較難存儲,試想一個人一生數(shù)據(jù)在幾個T的話,價錢最好的電腦可能也就只能存一部分。這個成本在醫(yī)院來說是比較高的。
所以,這些數(shù)據(jù)持續(xù)膨脹的問題給傳統(tǒng)行業(yè)帶來而來挑戰(zhàn)。這些挑戰(zhàn)大數(shù)據(jù)可以解決。比如百度就提供了百度開放云,百度數(shù)據(jù)工廠等數(shù)據(jù)解決方案。
洗漱完之后,你想起今天要帶一個來北京的朋友去逛逛故宮。你打開百度的大數(shù)據(jù)產(chǎn)品百度預(yù)測,看看北京故宮今天預(yù)計會有多少人。再看看北京今天的交通預(yù)測。百度預(yù)測通過每天幾十億次用戶向百度請求定位信息,計算出景區(qū)熱地圖。
百度的大數(shù)據(jù)產(chǎn)品百度大腦已經(jīng)能夠預(yù)測到兩個星期以內(nèi)的城市旅游熱度,這些旅游人會從哪一個城市過來,百度能提供兩星期的預(yù)測,如果把這個更細一點,在城市景點,百度能預(yù)測兩天景點擁擠程度。4月24日,玉淵潭和陶然亭哪個公園更擁擠,也可以運用百度大腦計算出來。
到了單位后,如果你是個名人,估計想知道今天你昨天是否被人偷拍了。你用手機給自己拍了一張照片,上傳到百度搜圖網(wǎng)頁上,通過以圖搜圖和圖片識別技術(shù),就能把以前關(guān)于你的新聞圖片全部搜尋出來。
到了中午你到一個餐館用餐。大數(shù)據(jù)軟件,你可以告訴你餐館附近多少車位,算出你可能會遇到的擁堵時間,到了是否還有多少車位等可能性。你在用餐的時候,可以提前看到餐館的視頻環(huán)境??纯词欠袢硕唷4髷?shù)據(jù)還可以把你臉的部分打成馬賽克,你不用擔(dān)心個人信息泄露。
吃完中飯,你收到催繳電話費短信。你很好奇自己過去三年每個月的消費記錄。但過去運營商都是只能讓你查到六個月以內(nèi)的消費信息。為什么?因為中國移動至少有5億用戶,每天至少能產(chǎn)生10次以上計費記錄。每天50億的計費記錄,包括上短信,打電話之了,一年下來就是1800億條記錄。這是一個大大數(shù)據(jù)的存儲和歸納技術(shù)難題。在大數(shù)據(jù)時代,過去幾年的電話通訊信息都可以查到了。
下班回家的路上,你再也看不到路邊電線杠上貼的嫌疑犯通緝圖。警察叔叔們使用先進的以圖搜圖功能,在海量監(jiān)控視頻中,就很快可以通過比對把嫌犯找到。最近嫌犯在哪個城市,哪條街道,哪個商店出現(xiàn)過,就不用上街貼照片。
看過美劇《疑犯追蹤》的人,應(yīng)該對于大數(shù)據(jù)對于阻止犯罪的作用印象深刻。這部美劇中,軟件天才Finch發(fā)明了一個程序,通過觀測已有的模式來識別有可能進行暴力犯罪的罪犯,他雇用了一位被推定死亡的前美國特種部隊綠色貝雷帽隊員和前CIA探員Reese,二人使用國家級的監(jiān)測技術(shù),加以Reese的專業(yè)技能和Finch的無限財富,開始“法外執(zhí)法”,力圖在犯罪發(fā)生前就對其加以阻止。
當(dāng)你回到家的時候,你的可穿戴設(shè)備告訴你,今天你在室內(nèi)和室外的時間分別都是多少,你一天內(nèi)吸入了多少霧霾。
晚上睡覺的時候,你的孩子哭鬧起來。你把孩子的哭聲錄入一個大數(shù)據(jù)軟件中。軟件能告訴你孩子為什么哭。是餓了,還是哪里不舒服,還是說想撒撒嬌。文章來源:CDA數(shù)據(jù)分析師官網(wǎng)
為什么能做到這點?很簡單。百度大腦把海量的嬰兒聲紋,上傳到大數(shù)據(jù)中心提取特征學(xué)習(xí),從而幫助到年輕父母,錄下嬰兒哭聲上網(wǎng)比對,就知道孩子因為什么哭,讓沒有帶孩子經(jīng)驗的父母得到幫助。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03