大數(shù)據(jù)可視化 讓一張圖勝過(guò)千言萬(wàn)語(yǔ)

談到大數(shù)據(jù)，就必然要談到可視化分析，因?yàn)榇髷?shù)據(jù)分析的目的是發(fā)現(xiàn)有價(jià)值的信息，供決策者和業(yè)務(wù)人員使用，更好地做出企業(yè)的決策。

所以每次Teradata不論在國(guó)內(nèi)還是國(guó)外的峰會(huì)上，都會(huì)設(shè)置一個(gè)大數(shù)據(jù)可視化展示區(qū)域。瀏覽這些抽象的圖形，你甚至可能把它們看成是一副副藝術(shù)作品。

當(dāng)天為我講解的是Teradata天睿公司大中華區(qū)大數(shù)據(jù)事業(yè)部華東區(qū)高級(jí)顧問(wèn)張玉瑞，他還有另外一個(gè)身份“數(shù)據(jù)科學(xué)家”，在他看來(lái)如何把信息傳達(dá)給相應(yīng)的人，這就需要一種深入淺出、圖文并茂的形式，一張圖甚至可以勝過(guò)千言萬(wàn)語(yǔ)。

Teradata天睿公司大中華區(qū)大數(shù)據(jù)事業(yè)部華東區(qū)高級(jí)顧問(wèn)張玉瑞

在這些范例圖形中，當(dāng)然并不能單純停留在好看的層面，大數(shù)據(jù)可視化的目的是需要反映出真實(shí)的情況，讓用戶及時(shí)注意并防范這些問(wèn)題以及更好的進(jìn)行營(yíng)銷。所以這些抽象的圖像在真正的系統(tǒng)中可以實(shí)現(xiàn)縮放，每一個(gè)點(diǎn)都可以看到是哪個(gè)客戶，以及客戶的一些信息，如行業(yè)、規(guī)模、地區(qū)、存款等，線條上也可以看到具體的交易金額。

資金噴泉

“資金噴泉”展示了不同公司之間的資金流動(dòng)關(guān)系，是一個(gè)可以清晰發(fā)現(xiàn)客戶層級(jí)的資金視圖，圖中所展示的是中國(guó)一家大型銀行的企業(yè)銀行業(yè)務(wù)其中一個(gè)分析項(xiàng)目，使用轉(zhuǎn)賬交易數(shù)據(jù)了解風(fēng)險(xiǎn)和發(fā)現(xiàn)市場(chǎng)機(jī)會(huì)。

市場(chǎng)營(yíng)銷人員可以利用它切入核心企業(yè)，了解上下游關(guān)聯(lián)關(guān)系，開(kāi)展供應(yīng)鏈金融。在紛繁復(fù)雜的交易過(guò)程中，尋找合適的營(yíng)銷目標(biāo)，捕捉適當(dāng)?shù)臓I(yíng)銷時(shí)機(jī)；風(fēng)險(xiǎn)人員則可以根據(jù)它識(shí)別客戶異常資金交易，防范風(fēng)險(xiǎn)，通盤(pán)考慮相關(guān)參與方，而不是單單交易對(duì)手一方。

圖中每一個(gè)點(diǎn)代表公司，線代表兩家公司之間的資金轉(zhuǎn)移，箭頭代表資金的流向。張玉瑞對(duì)兩個(gè)方向進(jìn)行了描述，在營(yíng)銷和供應(yīng)鏈角度，需要從圖中找到核心企業(yè)，再延伸到上下游；在風(fēng)險(xiǎn)角度，一方面衡量市場(chǎng)變化，一方面監(jiān)控資金流向。

談到“資金噴泉”的形成，因?yàn)槊考夜久刻熨Y金流量都是非常大，怎么刪繁就簡(jiǎn)，把一些比較主要的問(wèn)題呈現(xiàn)出來(lái)，需要經(jīng)過(guò)大量的計(jì)算后提煉出一些比較有價(jià)值數(shù)據(jù)。如果把幾百萬(wàn)個(gè)客戶都展現(xiàn)在一張圖中，解讀起來(lái)也很困難，因此需要分門(mén)別類，這里就需要通過(guò)一些業(yè)務(wù)和分析進(jìn)行提煉。

擔(dān)保圈焰火

汽車信貸業(yè)務(wù)的超常規(guī)發(fā)展確實(shí)為銀行帶來(lái)了利潤(rùn)，但在分享車貸“蛋糕”喜悅的同時(shí)，不斷攀升的車貸違約率也向銀行業(yè)敲響了警鐘，因?yàn)樵絹?lái)越多的車貸存在一些不易規(guī)避的風(fēng)險(xiǎn)。“擔(dān)保圈焰火”展現(xiàn)了在某家銀行的汽車廠商、4S店和個(gè)人客戶之間建立的擔(dān)保關(guān)系網(wǎng)絡(luò)。

圖中點(diǎn)代表車貸客戶或者車貸擔(dān)保人，線代表?yè)?dān)保人和被擔(dān)保人的擔(dān)保關(guān)系，不同顏色用來(lái)區(qū)分相應(yīng)的擔(dān)保網(wǎng)絡(luò)。

圖中比較明顯的是黃色、藍(lán)色、紫色三個(gè)群體，黃色群體比較正常，中心是4S店，周圍是一對(duì)一的個(gè)人客戶。而左下角的藍(lán)色和紫色群體存在重疊，也就是有些客戶在兩家以上的公司申請(qǐng)汽車貸款，存在一定的騙貸可能，需要銀行高度關(guān)注。

這里只是使用銀行的數(shù)據(jù)進(jìn)行圖形顯示，并沒(méi)有使用汽車公司的數(shù)據(jù)。張玉瑞指出，以往的分析都是單獨(dú)看每筆貸款，其實(shí)貸款之間并不是獨(dú)立的，現(xiàn)在我們把他們關(guān)聯(lián)起來(lái)，就很容易發(fā)現(xiàn)之前很難發(fā)現(xiàn)的問(wèn)題。

擔(dān)保圈之謎

揮別了黃金時(shí)代的房地產(chǎn)行業(yè)，未來(lái)房地產(chǎn)價(jià)格將在不同地區(qū)出現(xiàn)分化。目前一、二線城市住宅地產(chǎn)需求旺盛，價(jià)格堅(jiān)挺，三、四線城市市場(chǎng)低迷，部分區(qū)域價(jià)格下滑，銷售不暢。為了促進(jìn)銷售，部分開(kāi)發(fā)商或者房產(chǎn)中介為購(gòu)房者提供擔(dān)保，降低購(gòu)房門(mén)檻，低首付甚至零首付，一旦房?jī)r(jià)出現(xiàn)大幅波動(dòng)，這些房貸將給銀行帶來(lái)巨大的風(fēng)險(xiǎn)。

“擔(dān)保圈之謎”揭示了房地產(chǎn)開(kāi)發(fā)行業(yè)所產(chǎn)生的潛在風(fēng)險(xiǎn)，每一個(gè)輻射源是房地產(chǎn)公司，散開(kāi)的點(diǎn)是個(gè)人客戶。不同顏色可以區(qū)分不同擔(dān)保網(wǎng)絡(luò)。你會(huì)看到一些房地產(chǎn)開(kāi)發(fā)商為大量的客戶提供貸款的擔(dān)保。

“最近央行和銀監(jiān)局要求銀行降低首付貸，說(shuō)明政府對(duì)房貸的加杠桿高度關(guān)注?！睆堄袢鹫f(shuō)道。房貸本來(lái)是銀行優(yōu)質(zhì)的資產(chǎn)，如果購(gòu)房者或者炒房者變成一兩成首付或者零首付，杠桿就會(huì)陡增，風(fēng)險(xiǎn)就會(huì)放大。

所以通過(guò)擔(dān)保圈之謎，讓銀行展現(xiàn)和監(jiān)控風(fēng)險(xiǎn)暴露的規(guī)模和真實(shí)的特性。銀行可以對(duì)高風(fēng)險(xiǎn)客戶采取措施，這些措施包含收緊貸款審批，甚至拒絕貸款。

Teradata Aster如何做可視化分析

“資金噴泉”是使用Teradata Aster和Aster的Lens。裝載的交易數(shù)據(jù)是非常大，涵蓋超過(guò) 670,000 公司的 60,802,990 記錄。公司記錄包含行業(yè)分類代碼，因此我們可以理解他們的業(yè)務(wù)活動(dòng)。

“擔(dān)保圈焰火”和“擔(dān)保圈之謎”展示了在Teradata Aster分析探索平臺(tái)做的Sigma圖形，所用的數(shù)據(jù)源包含擔(dān)保人企業(yè)ID、擔(dān)保合同信息、擔(dān)保金額、企業(yè)信用評(píng)級(jí)等。這里用的分析方法是社交媒體分析，以發(fā)現(xiàn)有影響力的客戶和識(shí)別擔(dān)保模式。

其實(shí)整個(gè)社交圈非常復(fù)雜，傳統(tǒng)的分析需要采樣，但像資金鏈、擔(dān)保圈、社交群就沒(méi)辦法抽樣。張玉瑞解釋道，因?yàn)榫W(wǎng)絡(luò)大龐大，抽樣會(huì)使一些關(guān)系切斷，所以需要將所有數(shù)據(jù)一起進(jìn)行分析。

因?yàn)樗袛?shù)據(jù)的分析，數(shù)據(jù)的體量非常龐大，舉一個(gè)通俗易懂的例子，Google搜索資料會(huì)把相關(guān)性高得內(nèi)容顯示在前面，這中間會(huì)通過(guò)一些數(shù)據(jù)進(jìn)行計(jì)算，算出一個(gè)PageRank值，越好的會(huì)排到越前面以達(dá)到更準(zhǔn)確，而且計(jì)算速度非?？臁eradata Aster圖分析（社交媒體分析）算法里就有PageRank算法，我們通過(guò)它來(lái)找出網(wǎng)絡(luò)中有重要影響力的客戶 。

不只是以上三個(gè)可視化圖形，還有很多大數(shù)據(jù)可視化都是用Teradata Aster來(lái)實(shí)現(xiàn)。Aster數(shù)據(jù)庫(kù)預(yù)裝了200+個(gè)SQL-MR函數(shù)，快速高效地支撐庫(kù)內(nèi)的數(shù)據(jù)挖掘和大數(shù)據(jù)探索分析，它包括了路徑與模式分析（Path/Pattern Analysis）、圖分析（Graph Analysis）、文本分析（Text Analysis）、統(tǒng)計(jì)分析（Statistical calculations）、數(shù)據(jù)轉(zhuǎn)換（Transformation）、關(guān)聯(lián)及關(guān)系分析（Relational Analysis）等。

張玉瑞同時(shí)也還原了整個(gè)可視化分析的過(guò)程，數(shù)據(jù)來(lái)自不同的數(shù)據(jù)源，把它們加載到分析工具中，可能會(huì)有一些數(shù)據(jù)質(zhì)量的問(wèn)題，所以還需要進(jìn)行清洗。之后建模是一個(gè)重要的工作，最后是分析，如果企業(yè)數(shù)據(jù)基礎(chǔ)較好，準(zhǔn)備的時(shí)間也會(huì)較短，分析質(zhì)量也會(huì)很高。