
人工智能創(chuàng)新有望解決大數(shù)據(jù)難題
我經(jīng)常遇到著迷于深度學(xué)習(xí)、壓縮分類和自動駕駛汽車的數(shù)據(jù)科學(xué)團(tuán)隊(duì),它們渴望運(yùn)用當(dāng)下流行的算法。比如說,我最近在與一家大型金融機(jī)構(gòu)合作,共同加強(qiáng)其網(wǎng)絡(luò)安全;我們甚至還沒有開始基本的監(jiān)控,我團(tuán)隊(duì)中的一名數(shù)據(jù)科學(xué)家就在談?wù)揔-均值聚類和神經(jīng)網(wǎng)絡(luò)。
我們要始終記得先要了解問題和機(jī)會,然后運(yùn)用正確的系統(tǒng)或算法。有時(shí)候,自學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可能是最佳的選擇;而有時(shí)候,你得采用經(jīng)典的技術(shù):專家系統(tǒng)。
專家系統(tǒng)是一種基于規(guī)則的引擎,它基于專家們的集體智慧。它是人工智能(AI)領(lǐng)域歷史最悠久的創(chuàng)新之一,實(shí)際應(yīng)用可以追溯到上世紀(jì)70年代。
數(shù)據(jù)科學(xué)界經(jīng)常開玩笑說,專家系統(tǒng)好比是過時(shí)的恐龍,它們很有意思,但是就現(xiàn)代應(yīng)用而言不切實(shí)際。我完全不同意,人工智能領(lǐng)域沒有哪一項(xiàng)進(jìn)步完全取 代得了專家系統(tǒng)的功能和效用。此外,由于專家系統(tǒng)已存在相當(dāng)一段長的時(shí)間,你可以運(yùn)用久經(jīng)考驗(yàn)的最佳實(shí)踐。下面是使用專家系統(tǒng)、讓你開始入手的六個最佳實(shí) 踐。
1. 征集需求
構(gòu)建一套專家系統(tǒng)最困難的部分就是,與實(shí)際的專家們見面討論。與任何最終用戶見面討論已夠困難了,而你項(xiàng)目需要的那些專家是非常特殊的最終用戶,每個人都想要與之討論。在征集需求之前,要征得管理層的同意,批準(zhǔn)你與專家們見面討論。
比如說,我在接觸一家跨國交易處理公司時(shí),整個公司只有五六個人知道交易網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)。如果你沒有讓管理層承諾專家到時(shí)抽出時(shí)間,那么你休想與他們談?wù)?5分鐘以上。
2. 進(jìn)行分析
盡量少花時(shí)間在分析上。忍住對專家訪談進(jìn)行定性分析的沖動,這沒有必要。
專家系統(tǒng)旨在進(jìn)行自己的分析。艱苦的工作在分析中并不多,難就難在框架的搭建和微調(diào)上。在這方面,它類似神經(jīng)網(wǎng)絡(luò)。你的任務(wù)就是告訴系統(tǒng)如何思考,然后讓系統(tǒng)為自己處理思考任務(wù)。
3. 設(shè)計(jì)框架
將冗余性(verbosity)設(shè)計(jì)到你的專家系統(tǒng)框架中。專家系統(tǒng)由兩個基本部分組成:知識庫和推理引擎。知識庫負(fù)責(zé)存儲關(guān)于設(shè)計(jì)領(lǐng)域的事實(shí),而推理引擎負(fù)責(zé)將歸納(正向鏈)推理和演繹(反向鏈)推理運(yùn)用到知識庫中的事實(shí)。
這兩個系統(tǒng)都必須精心設(shè)計(jì),讓你可以了解專家系統(tǒng)在想什么。你需要非常詳細(xì)地了解專家系統(tǒng)知道的情況,以及它如何得出結(jié)論。先進(jìn)系統(tǒng)更側(cè)重于采用自然語言界面――這是我支持的一個最佳實(shí)踐。
4. 開發(fā)系統(tǒng)
開發(fā)速度要快。與分析一樣,如果你在開發(fā)方面花了大量的時(shí)間,那么做法不當(dāng)。你唯一要開發(fā)的東西就是框架(知識庫和推理引擎)。暫時(shí)盡量避免編寫程序代碼。
然而,要從長計(jì)議。在程序代碼可以取代框架推理的地方構(gòu)建接口。雖然將程序代碼換成基于框架的推理有悖于大眾的看法,但是一旦規(guī)則得到了全面審查,它就是你專家系統(tǒng)的一種實(shí)際延伸。程序代碼讓你有機(jī)會大大加快執(zhí)行,這對許多應(yīng)用程序(比如嵌入式系統(tǒng))來說更切實(shí)際。
5. 訓(xùn)練系統(tǒng)
不要低估了合理訓(xùn)練專家系統(tǒng)所需要投入的時(shí)間、精力和專家數(shù)量。我使用“訓(xùn)練”這個詞很寬泛――專家系統(tǒng)嚴(yán)格上來說并不是一種學(xué)習(xí)系統(tǒng)。但是,決定 專家系統(tǒng)成敗的卻是領(lǐng)域知識以及它如何進(jìn)行推理。專家必須是這個過程的一部分,因?yàn)橐坏佀土诵枨笳骷A段收集的信息,專家就需要微調(diào)引擎。
這時(shí)候,情況變得有意思起來。讓一個專家解釋過程原本夠難的,更不用說讓一組專家就合適的過程達(dá)成共識了。到頭來這是值得的,但是勤奮和耐心在這個階段會給你帶來好處。
6. 改進(jìn)系統(tǒng)
請專家委員會做以后的審查。一旦你的專家系統(tǒng)部署到位,很難長時(shí)間留住你的專家;他們需要定期審查實(shí)際的結(jié)論,確保你的系統(tǒng)仍盡到作為專家的責(zé)任。 事先獲得他們的這種承諾。就像你在需求征集階段那樣征得管理層的同意――可以這么說,專家系統(tǒng)穩(wěn)定下來后,至少每年每季度你需要一次得到他們的關(guān)注。在你 開始動手之前,確保每個人對這個想法意見一致。
結(jié)束語
盡管種種新奇的系統(tǒng)和算法涌入數(shù)據(jù)科學(xué)界,但使用一種有幾十年歷史,并久經(jīng)考驗(yàn)的解決方案:專家系統(tǒng)根本不會錯。別因?yàn)樵O(shè)計(jì)的簡潔性而誤以為它過時(shí)或無效,事實(shí)恰恰相反。
只要你能找到合適的專家,就可以立即搭建起一套專家系統(tǒng);與此同時(shí),其他數(shù)據(jù)科學(xué)家仍在為壓縮分類絞盡腦汁。掌握了這里給出的幾個要點(diǎn),以及你自己汲取的經(jīng)驗(yàn)教訓(xùn),你可能自己都沒意識到,就成了專家系統(tǒng)的專業(yè)人士。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓(xùn)練與驗(yàn)證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計(jì)基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計(jì)基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11