
有關(guān)大數(shù)據(jù) 你不一定知道的幾個冷知識
大數(shù)據(jù)的隱秘魅力就在于,他比你都了解你。你以為你每次按下手機(jī)按鍵的動作都是一樣的嗎?哈哈圖樣圖森破。
來自今日頭條的技術(shù)副總裁楊震原告訴童鞋們,他們正在測試的“黑科技”,恰恰能從你點(diǎn)擊按鍵的時間和手指面積,推測出你當(dāng)時的情緒。你的漫不經(jīng)心、憤怒或者感動,都能夠成為后臺為你推送何種消息的依據(jù)。未來,如下場景可期:
如果你正處在被女神甩掉的悲傷中,也許客戶端會為你推送——搞基的一百種好處。如果你正處在領(lǐng)到本月工資飄飄欲仙的快樂中,也許客戶端會為你推送——在北京月兩萬何時能買一個廁所?
那么這種“恰到好處“的情緒拿捏和大數(shù)據(jù)有什么關(guān)系呢?實際上對你情緒的推測是建立在對你多次正常點(diǎn)擊的記錄之上的。這種行為數(shù)據(jù)甚至在你還未意識到的時候,就“出賣”了你的情緒。
今日頭條技術(shù)副總裁楊震原在分析一個按鈕的平均觸摸時間
你的“姿勢”,才是真的大數(shù)據(jù)
銀行每天的交易賬目流水的統(tǒng)計數(shù)據(jù),并不是大數(shù)據(jù),而每個用戶在拿號之后等待了多久才排到,有多少用戶罵娘,有多少用戶過于焦急憤而離去,這些真正的行為才是大數(shù)據(jù)。
楊震原又舉了今日頭條在應(yīng)用中的另一個例子。
實際上,你在一篇文章的什么位置停留多久,然后劃動了多遠(yuǎn),在新的位置停留了多久,是否看了評論,看了幾條評論,都可以按順序被記錄下來。接下來就是通過算法評估讀者的興趣所在。
CSDN創(chuàng)始人蔣濤也特別提到,美國電商平臺Wish正是用大數(shù)據(jù)的方法,根據(jù)每個人的數(shù)據(jù)不同,“看人下菜碟”地推薦你可能喜歡的貨品,三年時間已經(jīng)發(fā)展成北美最大的電商之一。
所以,一個悲傷的消息是:未來如果你要隱藏自己的身份,不僅僅要變裝易容偽造指紋,甚至連點(diǎn)擊手機(jī),查看文章的習(xí)慣都要改變了。
大數(shù)據(jù)就是:一個都不能少
如果要想知道有多大比例的人喜歡GV,那么只需要做好抽樣調(diào)查就可以了,沒有必要對所有人進(jìn)行調(diào)查。但是如果你想要推銷宅腐的周邊智能硬件產(chǎn)品,則需要逐個排查每個人“獨(dú)特”的興趣愛好。
所有數(shù)據(jù)一個都不能少,這就是所謂的“全量加工”,這些數(shù)據(jù)的制造者正是各大廠商利潤的源泉。
360商業(yè)產(chǎn)品首席架構(gòu)師劉鵬是一名網(wǎng)紅,他在很多場合都強(qiáng)調(diào):全量加工才是大數(shù)據(jù)。他說,涉及到個性化推薦、計算廣告、個人征信這些場景,大規(guī)模的計算就是無法避免的。
從技術(shù)角度來說,之所以大數(shù)據(jù)可以做到這么精準(zhǔn),也主要得益于技術(shù)的進(jìn)步。感知設(shè)備被豐富地用在五花八門的硬件上,使得以前無法記錄的數(shù)據(jù),現(xiàn)在都可以被記錄了。
大數(shù)據(jù)不應(yīng)該給人用
大數(shù)據(jù)應(yīng)該交給機(jī)器做決策,而不是交給人做決策。
這種洋溢著對人類深深不信任感的論斷同樣來自于劉鵬。在他眼中,大數(shù)據(jù)是為機(jī)器提供的食糧。而能夠駕馭大數(shù)據(jù)的人類基本只有兩種:數(shù)據(jù)科學(xué)家和統(tǒng)計工作者。
IT企業(yè)中養(yǎng)一群科學(xué)家的可能性為零。而人類的判斷往往基于宏觀、戰(zhàn)略,不可能有精力做到“因事而異”。相比之下機(jī)器的判斷比人類更加細(xì)致。比如為每個用戶比如畫像、貼標(biāo)簽。所以,要想把大數(shù)據(jù)利用透徹,愚蠢的人類還是暫時靠邊站吧。
“有點(diǎn)錯誤”的大數(shù)據(jù)更好用
“數(shù)據(jù)”這兩個字,天然給人一種完美而且精準(zhǔn)的感覺。在這方面,大數(shù)據(jù)要挑戰(zhàn)你的底線。作為數(shù)字廣告領(lǐng)域的大牛,劉鵬強(qiáng)調(diào),大數(shù)據(jù)可以存在半一致性這樣模棱兩可的屬性。換句話說,允許數(shù)據(jù)錯誤和丟失。
納尼?錯誤的數(shù)據(jù)也是好數(shù)據(jù)嗎?沒錯。由于數(shù)據(jù)量巨大,而且分析半天往往沒什么有用的收獲(價值密度低),分析者往往需要選取一些特征數(shù)據(jù)做加工,而對于這些特征數(shù)據(jù),也許還要簡化之后再加工。所以最終大數(shù)據(jù)要達(dá)到的結(jié)果是難得糊涂,卻一針見血。
所以,如果有人向喜愛人民網(wǎng)的你推薦草榴的時候,先不要發(fā)火,你可能只是大數(shù)據(jù)的一個錯誤罷了。
保險公司最喜歡和大數(shù)據(jù)在一起
如果你是一個魯莽的人,最想知道這個情況的無疑是你的汽車保險公司,想必你的保費(fèi)會居高不下;如果你是一個謹(jǐn)小慎微的人,最想知道的也是保險公司,因為它可以用打折的保費(fèi)吸引你投保。
在你身上,甚至存在一個精確的“岀險率”數(shù)字。這個聽上去很驚悚的數(shù)字恰恰是保險公司利潤的來源。因為不掌握這樣大數(shù)據(jù)的個人,是無法計算自己的岀險率的。保險公司恰恰利用這種信息不對稱,給一個岀險率是萬分之一的人開出了千分之一的保價,相當(dāng)于賺了十倍的利潤。
隱私問題要靠技術(shù)改進(jìn)
數(shù)據(jù)比它看上去的樣子更險惡,這是大數(shù)據(jù)業(yè)內(nèi)人士的普遍共識。即使隱去了你的姓名電話等等敏感信息,只保留你和其他人聯(lián)系的記錄,熟悉你的人完全可以猜到你的身份。目前大數(shù)據(jù)的安全性,在他人的惡意之下,顯得力不從心。
隱私問題,制度只能解決20分,剩下的80分要靠技術(shù)進(jìn)步來解決。
劉鵬如是說。期待市場倒退到前大數(shù)據(jù)時代,似乎沒有希望了。
如何精確統(tǒng)計出有多少人喜愛蒼井空,有多少人喜歡武藤蘭,但是又不泄露到底是誰喜歡蒼老師,誰喜歡武老師,這是目前大數(shù)據(jù)的最前沿研究。
有關(guān)大數(shù)據(jù)的政策再嚴(yán)格,沒有一套可靠的保密技術(shù),數(shù)據(jù)的安全都是無從談起的。隱私算法、數(shù)據(jù)脫敏、數(shù)據(jù)隔離。都是研究的方向。在此之前,各位的大數(shù)據(jù)還都在相對危險的狀態(tài)。這也是為什么目前法律沒有禁止數(shù)據(jù)買賣,而各大巨頭卻不敢將數(shù)據(jù)出售的原因。 當(dāng)然,大數(shù)據(jù)庫市場價目前比較低也是一個重要的原因。
SDCC,中國軟件開發(fā)者大會。由全球最大中文IT社區(qū)CSDN于2007年創(chuàng)辦,每年一屆。主題是下一代軟件開發(fā)技術(shù)趨勢與對各行業(yè)的深刻影響,以談干貨實料著稱。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價值、驅(qū)動決策的 ...
2025-07-15CDA 精益業(yè)務(wù)數(shù)據(jù)分析:驅(qū)動企業(yè)高效決策的核心引擎? 在數(shù)字經(jīng)濟(jì)時代,企業(yè)面臨著前所未有的數(shù)據(jù)洪流,如何從海量數(shù)據(jù)中提取有 ...
2025-07-15MySQL 無外鍵關(guān)聯(lián)表的 JOIN 實戰(zhàn):數(shù)據(jù)整合的靈活之道? 在 MySQL 數(shù)據(jù)庫的日常操作中,我們經(jīng)常會遇到需要整合多張表數(shù)據(jù)的場景 ...
2025-07-15Python Pandas:數(shù)據(jù)科學(xué)的瑞士軍刀? ? 在數(shù)據(jù)驅(qū)動的時代,面對海量、復(fù)雜的數(shù)據(jù),如何高效地進(jìn)行處理、分析和挖掘成為關(guān)鍵。 ...
2025-07-15用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯改字段或誤執(zhí)行批量更新等問題時有發(fā)生。 ...
2025-07-14t檢驗與Wilcoxon檢驗的選擇:何時用t.test,何時用wilcox.test? t 檢驗與 Wilcoxon 檢驗的選擇:何時用 t.test,何時用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時代職業(yè)生涯的鑰匙(深度研究報告、發(fā)展指導(dǎo)白皮書) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08