
大數(shù)據(jù)時代下的意圖搜索 個性化服務(wù)是關(guān)鍵
一、目的意義
大數(shù)據(jù)時代,任何網(wǎng)絡(luò)行為所留下的“蛛絲馬跡”都以數(shù)據(jù)的形式隱藏在大數(shù)據(jù)中,正所謂“存在就有痕跡,聯(lián)系就有信息”,通過應(yīng)用物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等技術(shù),構(gòu)建網(wǎng)絡(luò)空間中行為事件、思想事件等模型。在實體空間和虛擬空間中全面收集、甄別、過濾、分類、整合人的存在痕跡和聯(lián)系信息,關(guān)注人物或事件間聯(lián)系鏈,從而實現(xiàn)網(wǎng)絡(luò)空間中存在的各種意圖,完成對意圖產(chǎn)生源頭、傳播途徑和發(fā)展趨勢的全方位描述,達到對個人和組織的所思所想行為所在的全面搜索和分析。做到提前預(yù)警、智能決策。
2013年的“棱鏡門”事件為國家安全敲響警鐘的同時我們也看到正是有了“大數(shù)據(jù)”的存在,才讓“棱鏡”項目得以實施。目前,我國面臨的安全形勢嚴峻,反恐問題更是當前國際面臨的重要安全問題,大數(shù)據(jù)環(huán)境下的意圖搜索將能積極應(yīng)對新時期各種安全威脅,運用大數(shù)據(jù)技術(shù)和人工智能技術(shù)進行深入分析,實現(xiàn)對安全事件的準確識別和提前預(yù)警,有力提升我國基于大數(shù)據(jù)的國家安全防護能力。
二、關(guān)鍵技術(shù)
1、人工智能技術(shù):意圖搜索引擎構(gòu)建了人與信息的意識主動化的連接,通過不斷的交換學(xué)習(xí),形成模擬人腦的智能系統(tǒng),從而實現(xiàn)人與機器的相互了解,因此人工智能技術(shù)將是意圖所搜的核心技術(shù)。主要相關(guān)的人工智能技術(shù)有:機器深度學(xué)習(xí)、計算機神經(jīng)網(wǎng)絡(luò)、腦機接口、自然語言處理等技術(shù)。
2、大數(shù)據(jù)技術(shù):而對數(shù)據(jù)進行收集、存儲、處理、挖掘分析是搜索技術(shù)的基本環(huán)節(jié),因此以數(shù)據(jù)存儲、數(shù)據(jù)挖掘等技術(shù)為主的大數(shù)據(jù)技術(shù)也是意圖搜索的關(guān)鍵技術(shù)之一。主要相關(guān)的大數(shù)據(jù)技術(shù)有:數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)挖掘與分析技術(shù)等。
3、物聯(lián)網(wǎng)技術(shù):隨著傳感器的發(fā)展和移動化的能力,意圖搜索也呈現(xiàn)多樣化的形態(tài)。因此,以傳感器技術(shù)為主的物聯(lián)網(wǎng)技術(shù)也是意圖搜索的關(guān)鍵技術(shù)之一。
4、其他信息技術(shù):此外,搜索實現(xiàn)從傳統(tǒng)搜索到人工智能的過渡,還需要分詞技術(shù)、硬件存儲、云計算、超級計算、知識圖譜等相關(guān)技術(shù)的成熟。
三、目標成果
大數(shù)據(jù)環(huán)境下的意圖搜索技術(shù)將是構(gòu)建一個構(gòu)建虛擬空間信息社會雷達系統(tǒng)。該系統(tǒng)的主體是搭建一個完整的知識庫,開發(fā)意圖搜索引擎系統(tǒng)、并構(gòu)建云計算與大數(shù)據(jù)的基礎(chǔ)設(shè)施平臺。
搜索引擎系統(tǒng):搜集器、控制器、索引器、檢索器、用戶接口、處理分析系統(tǒng)
技術(shù)成果:人工智能、智能推理及知識研發(fā)、信息提取與分析技術(shù)、虛擬化工具、系統(tǒng)運行保障研發(fā)、系統(tǒng)算法、信息檢索能力研發(fā)等技術(shù)上的突破成果。
四、國內(nèi)外狀況
1、美國
(1)美國技術(shù)優(yōu)勢明顯
以微軟和Google為代表的互聯(lián)網(wǎng)巨頭技術(shù)和應(yīng)用皆處于領(lǐng)先地位。微軟亞洲研究院的人立方關(guān)系搜索提供的搜索結(jié)果中,將所有信息都按照“人”進行重新整合,以人與人之間的關(guān)系為紐帶,將埋藏在網(wǎng)絡(luò)信息海洋中的“人”的信息連接匯總,圖文并茂地展現(xiàn)出來,開啟的意圖搜索的新篇章。棱鏡門事件以來,NSA的全球監(jiān)控行為遭到各國政府和人民的譴責(zé),但美國情報部門所展現(xiàn)的大數(shù)據(jù)和信息安全技術(shù)實力不容忽視。Accumulo數(shù)據(jù)庫系統(tǒng)是NSA企業(yè)架構(gòu)的核心。大多數(shù)NSA的關(guān)鍵分析應(yīng)用都運行在Accumulo上,從技術(shù)角度看,NSA已經(jīng)能夠識別網(wǎng)絡(luò)上的各種可疑行為和個人,可以說美國政府在相關(guān)技術(shù)已走到了Google、微軟等互聯(lián)網(wǎng)巨頭之前。
(2)政府支持力度大
美國在相關(guān)技術(shù)的研發(fā)上給予高度重視。奧巴馬政府大數(shù)據(jù)研究和發(fā)展倡議中推出的XDATA項目將在四年里耗費2500萬美元來開發(fā)計算技術(shù)和防護數(shù)據(jù)軟件。2014年美國國防高級研究計劃局(DARPA)啟動其“大機理”項目,目的是發(fā)展可以發(fā)現(xiàn)隱藏在大數(shù)據(jù)中的因果關(guān)系模型。美國國防部每年投入2.5億美元資助利用海量數(shù)據(jù)的新方法研究,并將傳感、感知和決策支持結(jié)合在一起,制造能自己運行和做出決策的自治系統(tǒng),為軍事行動提供更好的支持。NSA在大數(shù)據(jù)項目的規(guī)模、可擴展性、安全性在很多方面甚至超過了Google、亞馬遜和蘋果這樣的大型互聯(lián)網(wǎng)企業(yè)。NSA旗下的風(fēng)險投資公司In-Q-Tel迄今已經(jīng)投資了200多個云計算、大數(shù)據(jù)、搜索與分析創(chuàng)業(yè)項目。美國國土安全部正在開展“可視化和數(shù)據(jù)分析卓越中心”項目,通過對大規(guī)模異構(gòu)數(shù)據(jù)的研究,使應(yīng)急救援人員能夠解決人為或自然災(zāi)害、恐怖主義事件、網(wǎng)絡(luò)威脅等方面的問題。
(3)美軍利用大數(shù)據(jù)搜索提升偵查和反恐能力
美軍正在開發(fā)的新一代大數(shù)據(jù)系統(tǒng),能夠通過計算機的速度和精度以及人的敏捷性,來理解和解釋現(xiàn)實世界,協(xié)助指揮官和分析人員將以100倍于當前的速度來理解傳感器收集的海量數(shù)據(jù)。例如,當阿富汗境內(nèi)的大毒梟準備為基地組織等恐怖分子提供資金時,美軍的情報分析人員能夠借助大數(shù)據(jù)技術(shù),把作戰(zhàn)方案庫里的數(shù)據(jù)與有關(guān)基地組織情況庫里的資金數(shù)據(jù)進行實時、自主關(guān)聯(lián),指導(dǎo)美軍先敵一步采取行動。
在美國國防部的資助下,美國“記錄未來”公司,專門研究如何通過分析互聯(lián)網(wǎng)信息,特別是“臉譜”、“推特”等社交網(wǎng)站,預(yù)先察知恐怖襲擊等重大事件。2013年6月,美國國家安全局局長兼美國賽博司令部司令亞歷山大在參加眾議院特設(shè)情報委員會聽證會時承認,通過秘密進行的“棱鏡”等監(jiān)視項目,美國政府至少挫敗了50起恐怖襲擊事件。這是大數(shù)據(jù)技術(shù)運用的成功案例。
2、我國的發(fā)展現(xiàn)狀
在我國百度、搜狗、360等互聯(lián)網(wǎng)公司以及海康威視等安防企業(yè)處于技術(shù)和應(yīng)用的前沿。從整體上來看,在商業(yè)開放和應(yīng)用方面尚具備一定的國際競爭力,但從大數(shù)據(jù)智能搜索應(yīng)用于國家安全防護上來看,我國在此方面與美國尚存在著較大的差距。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓(xùn)練與驗證損失驟升:機器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機器學(xué)習(xí)模型訓(xùn)練過程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11