
人工智能創(chuàng)新有望解決大數(shù)據(jù)難題
我經(jīng)常遇到著迷于深度學(xué)習(xí)、壓縮分類和自動(dòng)駕駛汽車的數(shù)據(jù)科學(xué)團(tuán)隊(duì),它們渴望運(yùn)用當(dāng)下流行的算法。比如說,我最近在與一家大型金融機(jī)構(gòu)合作,共同加強(qiáng)其網(wǎng)絡(luò)安全;我們甚至還沒有開始基本的監(jiān)控,我團(tuán)隊(duì)中的一名數(shù)據(jù)科學(xué)家就在談?wù)揔-均值聚類和神經(jīng)網(wǎng)絡(luò)。
我們要始終記得先要了解問題和機(jī)會,然后運(yùn)用正確的系統(tǒng)或算法。有時(shí)候,自學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可能是最佳的選擇;而有時(shí)候,你得采用經(jīng)典的技術(shù):專家系統(tǒng)。
專家系統(tǒng)是一種基于規(guī)則的引擎,它基于專家們的集體智慧。它是人工智能(AI)領(lǐng)域歷史最悠久的創(chuàng)新之一,實(shí)際應(yīng)用可以追溯到上世紀(jì)70年代。
數(shù)據(jù)科學(xué)界經(jīng)常開玩笑說,專家系統(tǒng)好比是過時(shí)的恐龍,它們很有意思,但是就現(xiàn)代應(yīng)用而言不切實(shí)際。我完全不同意,人工智能領(lǐng)域沒有哪一項(xiàng)進(jìn)步完全取 代得了專家系統(tǒng)的功能和效用。此外,由于專家系統(tǒng)已存在相當(dāng)一段長的時(shí)間,你可以運(yùn)用久經(jīng)考驗(yàn)的最佳實(shí)踐。下面是使用專家系統(tǒng)、讓你開始入手的六個(gè)最佳實(shí) 踐。
1. 征集需求
構(gòu)建一套專家系統(tǒng)最困難的部分就是,與實(shí)際的專家們見面討論。與任何最終用戶見面討論已夠困難了,而你項(xiàng)目需要的那些專家是非常特殊的最終用戶,每個(gè)人都想要與之討論。在征集需求之前,要征得管理層的同意,批準(zhǔn)你與專家們見面討論。
比如說,我在接觸一家跨國交易處理公司時(shí),整個(gè)公司只有五六個(gè)人知道交易網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)。如果你沒有讓管理層承諾專家到時(shí)抽出時(shí)間,那么你休想與他們談?wù)?5分鐘以上。
2. 進(jìn)行分析
盡量少花時(shí)間在分析上。忍住對專家訪談進(jìn)行定性分析的沖動(dòng),這沒有必要。
專家系統(tǒng)旨在進(jìn)行自己的分析。艱苦的工作在分析中并不多,難就難在框架的搭建和微調(diào)上。在這方面,它類似神經(jīng)網(wǎng)絡(luò)。你的任務(wù)就是告訴系統(tǒng)如何思考,然后讓系統(tǒng)為自己處理思考任務(wù)。
3. 設(shè)計(jì)框架
將冗余性(verbosity)設(shè)計(jì)到你的專家系統(tǒng)框架中。專家系統(tǒng)由兩個(gè)基本部分組成:知識庫和推理引擎。知識庫負(fù)責(zé)存儲關(guān)于設(shè)計(jì)領(lǐng)域的事實(shí),而推理引擎負(fù)責(zé)將歸納(正向鏈)推理和演繹(反向鏈)推理運(yùn)用到知識庫中的事實(shí)。
這兩個(gè)系統(tǒng)都必須精心設(shè)計(jì),讓你可以了解專家系統(tǒng)在想什么。你需要非常詳細(xì)地了解專家系統(tǒng)知道的情況,以及它如何得出結(jié)論。先進(jìn)系統(tǒng)更側(cè)重于采用自然語言界面――這是我支持的一個(gè)最佳實(shí)踐。
4. 開發(fā)系統(tǒng)
開發(fā)速度要快。與分析一樣,如果你在開發(fā)方面花了大量的時(shí)間,那么做法不當(dāng)。你唯一要開發(fā)的東西就是框架(知識庫和推理引擎)。暫時(shí)盡量避免編寫程序代碼。
然而,要從長計(jì)議。在程序代碼可以取代框架推理的地方構(gòu)建接口。雖然將程序代碼換成基于框架的推理有悖于大眾的看法,但是一旦規(guī)則得到了全面審查,它就是你專家系統(tǒng)的一種實(shí)際延伸。程序代碼讓你有機(jī)會大大加快執(zhí)行,這對許多應(yīng)用程序(比如嵌入式系統(tǒng))來說更切實(shí)際。
5. 訓(xùn)練系統(tǒng)
不要低估了合理訓(xùn)練專家系統(tǒng)所需要投入的時(shí)間、精力和專家數(shù)量。我使用“訓(xùn)練”這個(gè)詞很寬泛――專家系統(tǒng)嚴(yán)格上來說并不是一種學(xué)習(xí)系統(tǒng)。但是,決定 專家系統(tǒng)成敗的卻是領(lǐng)域知識以及它如何進(jìn)行推理。專家必須是這個(gè)過程的一部分,因?yàn)橐坏佀土诵枨笳骷A段收集的信息,專家就需要微調(diào)引擎。
這時(shí)候,情況變得有意思起來。讓一個(gè)專家解釋過程原本夠難的,更不用說讓一組專家就合適的過程達(dá)成共識了。到頭來這是值得的,但是勤奮和耐心在這個(gè)階段會給你帶來好處。
6. 改進(jìn)系統(tǒng)
請專家委員會做以后的審查。一旦你的專家系統(tǒng)部署到位,很難長時(shí)間留住你的專家;他們需要定期審查實(shí)際的結(jié)論,確保你的系統(tǒng)仍盡到作為專家的責(zé)任。 事先獲得他們的這種承諾。就像你在需求征集階段那樣征得管理層的同意――可以這么說,專家系統(tǒng)穩(wěn)定下來后,至少每年每季度你需要一次得到他們的關(guān)注。在你 開始動(dòng)手之前,確保每個(gè)人對這個(gè)想法意見一致。
結(jié)束語
盡管種種新奇的系統(tǒng)和算法涌入數(shù)據(jù)科學(xué)界,但使用一種有幾十年歷史,并久經(jīng)考驗(yàn)的解決方案:專家系統(tǒng)根本不會錯(cuò)。別因?yàn)樵O(shè)計(jì)的簡潔性而誤以為它過時(shí)或無效,事實(shí)恰恰相反。
只要你能找到合適的專家,就可以立即搭建起一套專家系統(tǒng);與此同時(shí),其他數(shù)據(jù)科學(xué)家仍在為壓縮分類絞盡腦汁。掌握了這里給出的幾個(gè)要點(diǎn),以及你自己汲取的經(jīng)驗(yàn)教訓(xùn),你可能自己都沒意識到,就成了專家系統(tǒng)的專業(yè)人士。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03