數(shù)據(jù)可視分析中的知識產(chǎn)生模型_數(shù)據(jù)分析師

可視分析技術(shù)已經(jīng)發(fā)展了近十年。在這些年間，人們研究了大量的可視分析方法和案例，發(fā)表了不少研究論文。然而，對于一些基本問題，人們依然沒有明確的答案。例如，一個基本的可視分析流程是怎樣的？一個可視分析系統(tǒng)應(yīng)該包含哪幾個組件？如何評價(jià)和比較不同的可視分析系統(tǒng)？在VAST’2014的一篇論文中[1]，Sacha等人提出了一個可視分析模型，系統(tǒng)性的回答了以上問題。

如圖1所示，他們的模型包含左邊計(jì)算機(jī)的部分和右邊人的部分。在計(jì)算機(jī)部分中，數(shù)據(jù)被繪制為可視化圖表，同時也通過模型進(jìn)行整理和挖掘?？梢暬瘓D表既可以顯示原始數(shù)據(jù)的特性，也可以顯示模型的結(jié)果。用戶也可以基于可視化圖表來對模型進(jìn)行調(diào)整，指導(dǎo)建模過程。在人的部分中，作者提出了三層循環(huán)：探索循環(huán)、驗(yàn)證循環(huán)和知識產(chǎn)生循環(huán)。在探索循環(huán)中，人們通過模型輸出和可視化圖表尋找數(shù)據(jù)中可能存在的模式，基于此采取一系列行動，例如改變參數(shù)，去產(chǎn)生得到新的模型輸出和新的可視化圖表。這樣做的動機(jī)在驗(yàn)證循環(huán)之中：人們通過模式洞察到數(shù)據(jù)的特點(diǎn)，產(chǎn)生可能的猜測。這些猜測的驗(yàn)證正是基于探索循環(huán)中的行動。最后，在驗(yàn)證循環(huán)之上有知識循環(huán)，不斷的收集驗(yàn)證循環(huán)中已被驗(yàn)證的猜測，總結(jié)為知識。

說明

圖 1. 可視分析中的知識產(chǎn)生模型

本模型的提出是建立在已有的各種模型的基礎(chǔ)之上的，如圖2所示。例如，之前的信息可視化流程圖描述了如何從數(shù)據(jù)產(chǎn)生可視化圖表，數(shù)據(jù)挖掘流程圖則描述了如何對數(shù)據(jù)進(jìn)行預(yù)處理和建模并最終得到分析結(jié)果。之前的交互步驟模型描述了人在分析過程中的評價(jià)、目標(biāo)產(chǎn)生和執(zhí)行步驟，意義構(gòu)建模型則描述了人在整個分析過程中對問題理解的加深。它們在本模型中被分解為三層循環(huán)。此外，眾多的交互詞匯系統(tǒng)的描述了探索循環(huán)中的行為。

圖 2. 本模型和已有模型之間的關(guān)系

作者利用本模型對一些實(shí)際的可視分析系統(tǒng)進(jìn)行了評價(jià)和比較，如圖3所示。Jigsaw是一款免費(fèi)的文本可視分析系統(tǒng)[2]，它可以讀入文本數(shù)據(jù)，自動提取實(shí)體，建立主題模型，因此強(qiáng)于建模。此外，它提供了一系列可視化圖表來顯示文本的各種特征，因此也強(qiáng)于可視化。它的許多可視化，例如文件聚類視圖，是基于主題模型的，因此可以算是對模型的可視化。用戶可以在多種視圖之間切換，改變各種視覺特性，因此它很好的支持了探索循環(huán)。此外，它還提供了tablet視圖，允許用戶記錄自己的發(fā)現(xiàn)，并整理歸類，提供了一定的驗(yàn)證循環(huán)支持。然而，Jigsaw不支持對原始數(shù)據(jù)預(yù)處理，也不太支持模型參數(shù)選擇。

Weka是一款免費(fèi)的數(shù)據(jù)挖掘系統(tǒng) [3]，它允許用戶對數(shù)據(jù)進(jìn)行一系列的預(yù)處理，例如數(shù)據(jù)刪除、離散化、文本分詞等等，同時支持大量的數(shù)據(jù)挖掘算法，涵蓋了各種分類、聚類、關(guān)聯(lián)規(guī)則挖掘模型。但是該系統(tǒng)支持的可視化相當(dāng)有限，例如顯示散點(diǎn)圖矩陣，或者顯示決策樹結(jié)果、顯示神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。另外，用戶探索僅限于更換預(yù)處理方法和更換模型，功能較為簡單。用戶無法整理自己的發(fā)現(xiàn)，因此該系統(tǒng)對驗(yàn)證循環(huán)的支持并不好。

Tableau是一款商業(yè)化的可視化系統(tǒng) [4]，它允許用戶通過漂亮的UI來預(yù)處理數(shù)據(jù)，通過簡單的拖拽來設(shè)計(jì)各種可視化圖表。但是一直以來，它支持的模型很有限，直到今年，Tableau支持了R語言，它才真正用于建模功能。Tableua支持靈活的數(shù)據(jù)探索。它還支持spreadsheet和storyboard等強(qiáng)大的功能，可以生成MLV視圖和類似powerpoint的演示界面。這些都是對驗(yàn)證循環(huán)的支持。

nSpace是一款商業(yè)化的文本分析系統(tǒng) [5]，雖然它對數(shù)據(jù)預(yù)處理和數(shù)學(xué)模型的支持很弱，但是它提供了多種可視化圖表顯示數(shù)據(jù)的不同特征。這些圖表可以較好的支持?jǐn)?shù)據(jù)探索循環(huán)。最為與眾不同的是，nSpace提供了sandbox界面用于組織用戶的發(fā)現(xiàn)，并生成結(jié)果報(bào)告。該功能比Jigsaw的tablet和Tableau的storyboard更為強(qiáng)大，能較好的支持驗(yàn)證循環(huán)。

圖 3.利用本模型對不同的可視分析系統(tǒng)進(jìn)行評價(jià)和比較。

作者也談到，本模型具有一些局限性，比如未考慮多個分析人員之間的協(xié)作與交流，未考慮不同可視分析系統(tǒng)之間的切換，未考慮分析人員和領(lǐng)域?qū)＜?、政府官員之間的溝通，未考慮動態(tài)變化的流數(shù)據(jù)。這些問題可以進(jìn)一步研究。

基于此模型，作者展望了未來可視分析的研究方向。例如，在探索循環(huán)中，研究者可以更多的考慮通過可視化與數(shù)學(xué)模型進(jìn)行交互的技術(shù)，也可以考慮如何引導(dǎo)用戶快速系統(tǒng)的發(fā)現(xiàn)數(shù)據(jù)中的模式，或者如何自動檢測模式。在驗(yàn)證循環(huán)中，研究者可以如何保存之間的探索結(jié)果，以方便回溯，驗(yàn)證其可靠性。研究者可以考慮如何組織不同的探索結(jié)果，輔助用戶產(chǎn)生假設(shè)，甚至自動產(chǎn)生假設(shè)。在知識發(fā)現(xiàn)循環(huán)中，研究者可以做的比較少。畢竟，知識發(fā)現(xiàn)只在人腦中。但研究者可以提供更多更方便的可視化視圖和數(shù)學(xué)模型，方便用戶從多個角度考慮同一個數(shù)據(jù)、同一個問題。這樣，也許用戶更容易最終得到有用的知識。