數據可視分析中的知識產生模型_數據分析師

可視分析技術已經發(fā)展了近十年。在這些年間，人們研究了大量的可視分析方法和案例，發(fā)表了不少研究論文。然而，對于一些基本問題，人們依然沒有明確的答案。例如，一個基本的可視分析流程是怎樣的？一個可視分析系統(tǒng)應該包含哪幾個組件？如何評價和比較不同的可視分析系統(tǒng)？在VAST’2014的一篇論文中[1]，Sacha等人提出了一個可視分析模型，系統(tǒng)性的回答了以上問題。

如圖1所示，他們的模型包含左邊計算機的部分和右邊人的部分。在計算機部分中，數據被繪制為可視化圖表，同時也通過模型進行整理和挖掘?？梢暬瘓D表既可以顯示原始數據的特性，也可以顯示模型的結果。用戶也可以基于可視化圖表來對模型進行調整，指導建模過程。在人的部分中，作者提出了三層循環(huán)：探索循環(huán)、驗證循環(huán)和知識產生循環(huán)。在探索循環(huán)中，人們通過模型輸出和可視化圖表尋找數據中可能存在的模式，基于此采取一系列行動，例如改變參數，去產生得到新的模型輸出和新的可視化圖表。這樣做的動機在驗證循環(huán)之中：人們通過模式洞察到數據的特點，產生可能的猜測。這些猜測的驗證正是基于探索循環(huán)中的行動。最后，在驗證循環(huán)之上有知識循環(huán)，不斷的收集驗證循環(huán)中已被驗證的猜測，總結為知識。

說明

圖 1. 可視分析中的知識產生模型

本模型的提出是建立在已有的各種模型的基礎之上的，如圖2所示。例如，之前的信息可視化流程圖描述了如何從數據產生可視化圖表，數據挖掘流程圖則描述了如何對數據進行預處理和建模并最終得到分析結果。之前的交互步驟模型描述了人在分析過程中的評價、目標產生和執(zhí)行步驟，意義構建模型則描述了人在整個分析過程中對問題理解的加深。它們在本模型中被分解為三層循環(huán)。此外，眾多的交互詞匯系統(tǒng)的描述了探索循環(huán)中的行為。

圖 2. 本模型和已有模型之間的關系

作者利用本模型對一些實際的可視分析系統(tǒng)進行了評價和比較，如圖3所示。Jigsaw是一款免費的文本可視分析系統(tǒng)[2]，它可以讀入文本數據，自動提取實體，建立主題模型，因此強于建模。此外，它提供了一系列可視化圖表來顯示文本的各種特征，因此也強于可視化。它的許多可視化，例如文件聚類視圖，是基于主題模型的，因此可以算是對模型的可視化。用戶可以在多種視圖之間切換，改變各種視覺特性，因此它很好的支持了探索循環(huán)。此外，它還提供了tablet視圖，允許用戶記錄自己的發(fā)現，并整理歸類，提供了一定的驗證循環(huán)支持。然而，Jigsaw不支持對原始數據預處理，也不太支持模型參數選擇。

Weka是一款免費的數據挖掘系統(tǒng) [3]，它允許用戶對數據進行一系列的預處理，例如數據刪除、離散化、文本分詞等等，同時支持大量的數據挖掘算法，涵蓋了各種分類、聚類、關聯規(guī)則挖掘模型。但是該系統(tǒng)支持的可視化相當有限，例如顯示散點圖矩陣，或者顯示決策樹結果、顯示神經網絡結構。另外，用戶探索僅限于更換預處理方法和更換模型，功能較為簡單。用戶無法整理自己的發(fā)現，因此該系統(tǒng)對驗證循環(huán)的支持并不好。

Tableau是一款商業(yè)化的可視化系統(tǒng) [4]，它允許用戶通過漂亮的UI來預處理數據，通過簡單的拖拽來設計各種可視化圖表。但是一直以來，它支持的模型很有限，直到今年，Tableau支持了R語言，它才真正用于建模功能。Tableua支持靈活的數據探索。它還支持spreadsheet和storyboard等強大的功能，可以生成MLV視圖和類似powerpoint的演示界面。這些都是對驗證循環(huán)的支持。

nSpace是一款商業(yè)化的文本分析系統(tǒng) [5]，雖然它對數據預處理和數學模型的支持很弱，但是它提供了多種可視化圖表顯示數據的不同特征。這些圖表可以較好的支持數據探索循環(huán)。最為與眾不同的是，nSpace提供了sandbox界面用于組織用戶的發(fā)現，并生成結果報告。該功能比Jigsaw的tablet和Tableau的storyboard更為強大，能較好的支持驗證循環(huán)。

圖 3.利用本模型對不同的可視分析系統(tǒng)進行評價和比較。

作者也談到，本模型具有一些局限性，比如未考慮多個分析人員之間的協(xié)作與交流，未考慮不同可視分析系統(tǒng)之間的切換，未考慮分析人員和領域專家、政府官員之間的溝通，未考慮動態(tài)變化的流數據。這些問題可以進一步研究。

基于此模型，作者展望了未來可視分析的研究方向。例如，在探索循環(huán)中，研究者可以更多的考慮通過可視化與數學模型進行交互的技術，也可以考慮如何引導用戶快速系統(tǒng)的發(fā)現數據中的模式，或者如何自動檢測模式。在驗證循環(huán)中，研究者可以如何保存之間的探索結果，以方便回溯，驗證其可靠性。研究者可以考慮如何組織不同的探索結果，輔助用戶產生假設，甚至自動產生假設。在知識發(fā)現循環(huán)中，研究者可以做的比較少。畢竟，知識發(fā)現只在人腦中。但研究者可以提供更多更方便的可視化視圖和數學模型，方便用戶從多個角度考慮同一個數據、同一個問題。這樣，也許用戶更容易最終得到有用的知識。