
隱私換便捷?大數(shù)據挖掘究竟是怎樣的技術
大數(shù)據殺熟?隱私換便捷?一度被熱捧的大數(shù)據挖掘,近日站在了輿論的風口浪尖:一些商家利用大數(shù)據挖掘技術“殺熟”被網友親測證實;百度董事長兼CEO李彥宏一句“中國人對隱私問題沒有那么敏感”,更是讓它的處境雪上加霜。大數(shù)據挖掘技術就像一位有了負面新聞的明星,霎時間光彩暗淡,似乎變成了偷人隱私的小賊。
《大數(shù)據時代》一書暢銷之后的幾年,大數(shù)據雖不再那么當紅,但并未隱退,它的持續(xù)發(fā)展已成為人工智能得以實現(xiàn)的基礎之一。
那么,大數(shù)據挖掘究竟是怎樣的技術?從誕生發(fā)展至今,那些埋頭苦干的技術人員又讓它長了哪些本領?面對大數(shù)據難以管理的問題,有沒有技術手段加以控制?
用戶畫像:機器給人類貼標簽
“通過打標簽的方式建立用戶畫像,是數(shù)據挖掘常用的一種技術?!北本┐髮W計算機科學技術研究所多媒體信息處理研究室主任彭宇新教授解釋,建立用戶畫像就是利用社交網絡的信息,根據用戶社會屬性、生活習慣和消費行為等信息,抽象出一個標簽化的用戶模型,目標是使機器實現(xiàn)類似于人的“見信如面”的能力。社交網絡數(shù)據是實現(xiàn)這一目標的基礎,機器對人的“初相見”多是源自于對社交網絡數(shù)據的挖掘。
標簽,通常是通過對用戶信息進行分析得到的高度精煉的特征標識,使得機器方便做信息提取、聚合分析等處理。標簽本身無需再做過多文本分析等處理工作,這為利用機器提取標準化信息提供了便利。
“有了標簽,計算機就能夠自動處理與人相關的信息,能夠通過算法、模型逐步‘理解’
人?!迸碛钚陆榻B,多個標簽共同完成畫像,整個過程可分三步走:一是采集數(shù)據,即基于文本的信息抓取,口語稱為“爬數(shù)據”;二是用戶行為建模,通過機器學習技術,形成算法模型,判斷用戶可能的一些行為;三是可視化展現(xiàn),把機器運算出來的結果,通過能讓人類理解的方式展現(xiàn)出來。這三步是多輪調整的,在實際應用中,根據結果的反饋,以及業(yè)務需求,可能進行二次建模等調整。
整個過程的影響參數(shù)是相對多元的,不同的行為類型,對于標簽信息的權重影響也不同。以應用最廣的商品營銷為例,比如網售紅酒,如果“購買”權重計為5,僅“瀏覽”計為1,加上瀏覽間隔、駐留時長、生活習慣等,通過復雜的算法最終呈現(xiàn)出一個標簽的權重,再形成畫像。
基于用戶畫像技術,大數(shù)據挖掘進行分類和關聯(lián)規(guī)則計算等分析:例如喜歡紅酒的用戶有多少,喜歡紅酒的人群中,男、女比例是多少,喜歡紅酒的人通常喜歡什么運動品牌等等。
跨媒體智能識別:為計算機裝上慧眼
“以前文本信息占主流,現(xiàn)在圖像、視頻等多媒體數(shù)據鋪天蓋地而來?!迸碛钚抡f,后者目前占據大數(shù)據的80%以上。
數(shù)據類型發(fā)生的巨大變化,使得智能識別的任務更加艱巨?!肮懿蛔 焙汀坝貌缓谩钡膯栴}日益凸顯?!皺C器只能讀懂自己的語言。”彭宇新說,人類世界的所有語言都要轉化為機器理解的語言才能被識別,以前只處理文本相對簡單,而現(xiàn)在要加上復雜的圖像、視頻等數(shù)據。
“例如,世界上有數(shù)千種鳥類,很多種的差異非常細微,即使是有專業(yè)知識的人類也很難準確辨認,計算機自動識別的難度就更大了?!迸碛钚抡f,圖像、視頻內容理解的難點在于如何進行語義自動識別,這也是他們團隊多年攻關的課題之一,為此團隊發(fā)明了基于注意力模型和深度增量學習的識別方法。
注意力模型,顧名思義是讓計算機自動定位圖像的顯著性區(qū)域,以此提高檢測精度;深度增量學習,是指計算機能夠利用已經學到的知識加速對新知識的學習,同時通過動態(tài)擴容以支持新概念的檢測。
新模型新算法的發(fā)力,幫助機器快速識別圖像、視頻的語義信息。彭宇新團隊近年來六次參加國際權威評測TRECVID的視頻樣例搜索比賽均獲第一名,并在與卡內基梅隆大學、牛津大學、IBM
Watson研究中心等參賽隊伍的較量中勝出。其中一個題目就是在464個小時的視頻中快速準確地找出所有的倫敦地鐵標志,彭宇新團隊僅用了不到1秒就成功勝出,獲得第一名。
單媒體信息的分析與識別之上,如何進一步讓機器像人類一樣能看、能理解呢?
為達到跨媒體信息融合與一體化分析識別的目的,項目團隊首先把數(shù)據按照不同媒體類型自動分發(fā)到對應的分析與識別模塊。例如,對視頻鏡頭進行分割、對關鍵幀進行提取,然后分發(fā)到鏡頭檢索、片斷檢索、視頻字幕識別等模塊中,對單媒體分析結果進行跨媒體語義關聯(lián)分析,實現(xiàn)跨媒體信息的語義協(xié)同。“一種常用的方法是構建第三方空間進行跨媒體關聯(lián)?!迸碛钚抡f,“計算機根據我們教它的模型分別為圖像、視頻、文本、音頻抽取表征,再共同投射到一個第三方空間中,這樣不同媒體的信息就可以對話了?!?br />
技術的“抽絲剝繭”,讓圖像、視頻中的信息可以如文本一般透明?!拔覀兪敲橹鴳萌サ模?a href='/map/zhunquelv/' style='color:#000;font-size:inherit;'>準確率、處理速度都經過多年的優(yōu)化,已經可以進行實際應用了?!迸碛钚陆榻B,這項技術不僅幫助新聞媒體等行業(yè)進行數(shù)據管理和檢索,還在助力互聯(lián)網管理部門對大數(shù)據進行分析與監(jiān)測。
匿名處理:可預期的隱私保護對策
打破信息控制權幾乎不可能,但隱私保護卻有個很便捷的方法。北京郵電大學教授楊義先的《安全簡史》中有個形象的比喻,如果數(shù)據在網上“裸奔”,為了不被溯源,最便捷的安全手段是“把臉捂住”。這就是所謂的“匿名化處理機制”。
“用戶隱私保護的相關規(guī)定要求,數(shù)據公司在售賣數(shù)據時,需要對數(shù)據進行匿名化處理?!北本┐髮W計算機科學技術研究所研究員趙東巖說。但為了精準定位、推送服務,匿名化處理可能被忽視?!熬珳室馕吨繕丝蛻羧旱腎D指向,而不是向群體發(fā)送,因此,個性化推送和匿名化處理在目前的技術中是相互沖突的?!?br />
針對上面的沖突,業(yè)界的先行者提出一種區(qū)塊鏈的解決思路。“我稱它為OF ID。”北京領主科技公司研究人員劉偉泰說,“大數(shù)據的本質是群體研究,但是群體粒度可以細一些,此外,區(qū)塊鏈技術可以授予用戶授權的方法?!?br />
不難想象,隨著新技術的不斷創(chuàng)新,會有更多用于信息安全的技術突破,不是一門心思用于大數(shù)據挖掘,而是也能用于制衡“信息控制權”。
數(shù)據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉換:從基礎用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據處理中,日期格式轉換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據分析師:表結構數(shù)據 “獲取 - 加工 - 使用” 全流程的賦能者 表結構數(shù)據(如數(shù)據庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預期算子的內涵、作用與應用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據分析師:解鎖表結構數(shù)據特征價值的專業(yè)核心 表結構數(shù)據(以 “行 - 列” 規(guī)范存儲的結構化數(shù)據,如數(shù)據庫表、Excel 表、 ...
2025-09-17Excel 導入數(shù)據含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應用 在數(shù)據分析與統(tǒng)計學領域,假設檢驗是驗證研究假設、判斷數(shù)據差異是否 “ ...
2025-09-16CDA 數(shù)據分析師:掌控表格結構數(shù)據全功能周期的專業(yè)操盤手 表格結構數(shù)據(以 “行 - 列” 存儲的結構化數(shù)據,如 Excel 表、數(shù)據 ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網絡請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據分析師:激活表格結構數(shù)據價值的核心操盤手 表格結構數(shù)據(如 Excel 表格、數(shù)據庫表)是企業(yè)最基礎、最核心的數(shù)據形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調用、數(shù)據爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據的科學計數(shù)法問題 為幫助 Python 數(shù)據從業(yè)者解決pd.read_csv讀取長浮點數(shù)據時的科學計數(shù)法問題 ...
2025-09-12CDA 數(shù)據分析師:業(yè)務數(shù)據分析步驟的落地者與價值優(yōu)化者 業(yè)務數(shù)據分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務邏輯:從規(guī)則拆解到數(shù)據把關的實戰(zhàn)指南 在業(yè)務系統(tǒng)落地過程中,“業(yè)務邏輯” 是連接 “需求設計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據驅動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據分析師與戰(zhàn)略 / 業(yè)務數(shù)據分析:概念辨析與協(xié)同價值 在數(shù)據驅動決策的體系中,“戰(zhàn)略數(shù)據分析”“業(yè)務數(shù)據分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據聚類分析:從操作實踐到業(yè)務價值挖掘 在數(shù)據分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據解讀到決策支撐的價值導向 統(tǒng)計模型作為數(shù)據分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10