作者 | 向倩文

來(lái)源 | 數(shù)據(jù)產(chǎn)品手記

大多數(shù)人對(duì)數(shù)據(jù)可視化的第一印象，可能就是各種圖形，比如Excel圖表模塊中的柱狀圖、條形圖、折線圖、餅圖、散點(diǎn)圖等等，就不一一列舉了。以上所述，只是數(shù)據(jù)可視化的具體體現(xiàn)，但是數(shù)據(jù)可視化卻不止于此。

數(shù)據(jù)可視化不是簡(jiǎn)單的視覺(jué)映射，而是一個(gè)以數(shù)據(jù)流向?yàn)橹骶€的一個(gè)完整流程，主要包括數(shù)據(jù)采集、數(shù)據(jù)處理和變換、可視化映射、用戶交互和用戶感知。一個(gè)完整的可視化過(guò)程，可以看成數(shù)據(jù)流經(jīng)過(guò)一系列處理模塊并得到轉(zhuǎn)化的過(guò)程，用戶通過(guò)可視化交互從可視化映射后的結(jié)果中獲取知識(shí)和靈感。

圖1 可視化的基本流程圖

可視化主流程的各模塊之間，并不僅僅是單純的線性連接，而是任意兩個(gè)模塊之間都存在聯(lián)系。例如，數(shù)據(jù)采集、數(shù)據(jù)處理和變換、可視化編碼和人機(jī)交互方式的不同，都會(huì)產(chǎn)生新的可視化結(jié)果，用戶通過(guò)對(duì)新的可視化結(jié)果的感知，從而又會(huì)有新的知識(shí)和靈感的產(chǎn)生。

下面，對(duì)數(shù)據(jù)可視化主流程中的幾個(gè)關(guān)鍵步驟進(jìn)行說(shuō)明。

01

數(shù)據(jù)采集

數(shù)據(jù)采集是數(shù)據(jù)分析和可視化的第一步，俗話說(shuō)“巧婦難為無(wú)米之炊”，數(shù)據(jù)采集的方法和質(zhì)量，很大程度上就決定了數(shù)據(jù)可視化的最終效果。

數(shù)據(jù)采集的分類方法有很多，從數(shù)據(jù)的來(lái)源來(lái)看，可以分為內(nèi)部數(shù)據(jù)采集和外部數(shù)據(jù)采集。

1.內(nèi)部數(shù)據(jù)采集：

指的是采集企業(yè)內(nèi)部經(jīng)營(yíng)活動(dòng)的數(shù)據(jù)，通常數(shù)據(jù)來(lái)源于業(yè)務(wù)數(shù)據(jù)庫(kù)，如訂單的交易情況。如果要分析用戶的行為數(shù)據(jù)、APP的使用情況，還需要一部分行為日志數(shù)據(jù)，這個(gè)時(shí)候就需要用「埋點(diǎn)」這種方法來(lái)進(jìn)行APP或Web的數(shù)據(jù)采集。

2.外部數(shù)據(jù)采集：

指的數(shù)通過(guò)一些方法獲取企業(yè)外部的一些數(shù)據(jù)，具體目的包括，獲取競(jìng)品的數(shù)據(jù)、獲取官方機(jī)構(gòu)官網(wǎng)公布的一些行業(yè)數(shù)據(jù)等。獲取外部數(shù)據(jù)，通常采用的數(shù)據(jù)采集方法為「網(wǎng)絡(luò)爬蟲(chóng)」。

以上的兩類數(shù)據(jù)采集方法得來(lái)的數(shù)據(jù)，都是二手?jǐn)?shù)據(jù)。通過(guò)調(diào)查和實(shí)驗(yàn)采集數(shù)據(jù)，屬于一手?jǐn)?shù)據(jù)，在市場(chǎng)調(diào)研和科學(xué)研究實(shí)驗(yàn)中比較常用，不在此次探討范圍之內(nèi)。

02

數(shù)據(jù)處理和變換

數(shù)據(jù)處理和數(shù)據(jù)變換，是進(jìn)行數(shù)據(jù)可視化的前提條件，包括數(shù)據(jù)預(yù)處理和數(shù)據(jù)挖掘兩個(gè)過(guò)程。

一方面，通過(guò)前期的數(shù)據(jù)采集得到的數(shù)據(jù)，不可避免的含有噪聲和誤差，數(shù)據(jù)質(zhì)量較低；另一方面，數(shù)據(jù)的特征、模式往往隱藏在海量的數(shù)據(jù)中，需要進(jìn)一步的數(shù)據(jù)挖掘才能提取出來(lái)。

常見(jiàn)的數(shù)據(jù)質(zhì)量問(wèn)題包括：

1.數(shù)據(jù)收集錯(cuò)誤，遺漏了數(shù)據(jù)對(duì)象，或者包含了本不應(yīng)包含的其他數(shù)據(jù)對(duì)象。

2.數(shù)據(jù)中的離群點(diǎn)，即不同于數(shù)據(jù)集中其他大部分?jǐn)?shù)據(jù)對(duì)象特征的數(shù)據(jù)對(duì)象。

3.存在遺漏值，數(shù)據(jù)對(duì)象的一個(gè)或多個(gè)屬性值缺失，導(dǎo)致數(shù)據(jù)收集不全。

4.數(shù)據(jù)不一致，收集到的數(shù)據(jù)明顯不合常理，或者多個(gè)屬性值之間互相矛盾。例如，體重是負(fù)數(shù)，或者所填的郵政編碼和城市之間并沒(méi)有對(duì)應(yīng)關(guān)系。

5.重復(fù)值的存在，數(shù)據(jù)集中包含完全重復(fù)或幾乎重復(fù)的數(shù)據(jù)。

正是因?yàn)橛幸陨蠁?wèn)題的存在，直接拿采集的數(shù)據(jù)進(jìn)行分析or可視化，得出的結(jié)論往往會(huì)誤導(dǎo)用戶做出錯(cuò)誤的決策。因此，對(duì)采集到的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和規(guī)范化，是數(shù)據(jù)可視化流程中不可缺少的一環(huán)。

數(shù)據(jù)可視化的顯示空間通常是二維的，比如電腦屏幕、大屏顯示器等，3D圖形繪制技術(shù)解決了在二維平面顯示三維物體的問(wèn)題。

但是在大數(shù)據(jù)時(shí)代，我們所采集到的數(shù)據(jù)通常具有4V特性：Volume（大量）、Variety（多樣）、Velocity（高速）、Value（價(jià)值）。如何從高維、海量、多樣化的數(shù)據(jù)中，挖掘有價(jià)值的信息來(lái)支持決策，除了需要對(duì)數(shù)據(jù)進(jìn)行清洗、去除噪聲之外，還需要依據(jù)業(yè)務(wù)目的對(duì)數(shù)據(jù)進(jìn)行二次處理。

常用的數(shù)據(jù)處理方法包括：降維、數(shù)據(jù)聚類和切分、抽樣等統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)中的方法。

03

可視化映射

對(duì)數(shù)據(jù)進(jìn)行清洗、去噪，并按照業(yè)務(wù)目的進(jìn)行數(shù)據(jù)處理之后，接下來(lái)就到了可視化映射環(huán)節(jié)。可視化映射是整個(gè)數(shù)據(jù)可視化流程的核心，是指將處理后的數(shù)據(jù)信息映射成可視化元素的過(guò)程。

可視化元素由3部分組成：可視化空間+標(biāo)記+視覺(jué)通道

1.可視化空間

數(shù)據(jù)可視化的顯示空間，通常是二維。三維物體的可視化，通過(guò)圖形繪制技術(shù)，解決了在二維平面顯示的問(wèn)題，如3D環(huán)形圖、3D地圖等。

圖2 可視化空間示例

2.標(biāo)記

標(biāo)記，是數(shù)據(jù)屬性到可視化幾何圖形元素的映射，用來(lái)代表數(shù)據(jù)屬性的歸類。

根據(jù)空間自由度的差別，標(biāo)記可以分為點(diǎn)、線、面、體，分別具有零自由度、一維、二維、三維自由度。如我們常見(jiàn)的散點(diǎn)圖、折線圖、矩形樹(shù)圖、三維柱狀圖，分別采用了點(diǎn)、線、面、體這四種不同類型的標(biāo)記。

圖3 標(biāo)記類型示例

3.視覺(jué)通道

數(shù)據(jù)屬性的值到標(biāo)記的視覺(jué)呈現(xiàn)參數(shù)的映射，叫做視覺(jué)通道，通常用于展示數(shù)據(jù)屬性的定量信息。

常用的視覺(jué)通道包括：標(biāo)記的位置、大?。ㄩL(zhǎng)度、面積、體積...）、形狀（三角形、圓、立方體...）、方向、顏色（色調(diào)、飽和度、亮度、透明度...）等。

圖3中的四個(gè)圖形示例，就很好的利用了位置、大小、顏色等視覺(jué)通道來(lái)進(jìn)行數(shù)據(jù)信息的可視化呈現(xiàn)。

「標(biāo)記」、「視覺(jué)通道」是可視化編碼元素的兩個(gè)方面，兩者的結(jié)合，可以完整的將數(shù)據(jù)信息進(jìn)行可視化表達(dá)，從而完成可視化映射這一過(guò)程。

關(guān)于可視化編碼元素的優(yōu)先級(jí)，以及如何根據(jù)數(shù)據(jù)的特征選擇合適的可視化表達(dá)，下次會(huì)專題來(lái)分享下。

04

人機(jī)交互

可視化的目的，是為了反映數(shù)據(jù)的數(shù)值、特征和模式，以更加直觀、易于理解的方式，將數(shù)據(jù)背后的信息呈現(xiàn)給目標(biāo)用戶，輔助其作出正確的決策。

但是通常，我們面對(duì)的數(shù)據(jù)是復(fù)雜的，數(shù)據(jù)所蘊(yùn)含的信息是豐富的。

如果在可視化圖形中，將所有的信息不經(jīng)過(guò)組織和篩選，全部機(jī)械的擺放出來(lái)，不僅會(huì)讓整個(gè)頁(yè)面顯得特別臃腫和混亂，缺乏美感；而且模糊了重點(diǎn)，分散用戶的注意力，降低用戶單位時(shí)間獲取信息的能力。

常見(jiàn)的交互方式包括：

1.滾動(dòng)和縮放：當(dāng)數(shù)據(jù)在當(dāng)前分辨率的設(shè)備上無(wú)法完整展示時(shí)，滾動(dòng)和縮放是一種非常有效的交互方式，比如地圖、折線圖的信息細(xì)節(jié)等。但是，滾動(dòng)與縮放的具體效果，除了與頁(yè)面布局有關(guān)系外，還與具體的顯示設(shè)備有關(guān)。

2.顏色映射的控制：一些可視化的開(kāi)源工具，會(huì)提供調(diào)色板，如D3。用戶可以根據(jù)自己的喜好，去進(jìn)行可視化圖形顏色的配置。這個(gè)在自助分析等平臺(tái)型工具中，會(huì)相對(duì)多一點(diǎn)，但是對(duì)一些自研的可視化產(chǎn)品中，一般有專業(yè)的設(shè)計(jì)師來(lái)負(fù)責(zé)這項(xiàng)工作，從而使可視化的視覺(jué)傳達(dá)具有美感。

3.數(shù)據(jù)映射方式的控制：這個(gè)是指用戶對(duì)數(shù)據(jù)可視化映射元素的選擇，一般一個(gè)數(shù)據(jù)集，是具有多組特征的，提供靈活的數(shù)據(jù)映射方式給用戶，可以方便用戶按照自己感興趣的維度去探索數(shù)據(jù)背后的信息。這個(gè)在常用的可視化分析工具中都有提供，如tableau、PowerBI等。

4.數(shù)據(jù)細(xì)節(jié)層次控制：比如隱藏?cái)?shù)據(jù)細(xì)節(jié)，hover或點(diǎn)擊才出現(xiàn)。

05

用戶感知

可視化的結(jié)果，只有被用戶感知之后，才可以轉(zhuǎn)化為知識(shí)和靈感。

用戶在感知過(guò)程，除了被動(dòng)接受可視化的圖形之外，還通過(guò)與可視化各模塊之間的交互，主動(dòng)獲取信息。

如何讓用戶更好的感知可視化的結(jié)果，將結(jié)果轉(zhuǎn)化為有價(jià)值的信息用來(lái)指導(dǎo)決策，這個(gè)里面涉及到的影響因素太多了，心理學(xué)、統(tǒng)計(jì)學(xué)、人機(jī)交互等多個(gè)學(xué)科的知識(shí)。

學(xué)習(xí)之路漫漫，一直在路上， 我們會(huì)持續(xù)分享數(shù)據(jù)可視化領(lǐng)域的知識(shí)，記得持續(xù)follow我們喲！