
如何讓大數(shù)據(jù)好看又實(shí)用
現(xiàn)如今,每個(gè)人都在談?wù)?/span>大數(shù)據(jù),但很大程度上是由于其揮之不去的復(fù)雜性,故而,企業(yè)真正對(duì)于大數(shù)據(jù)的采用率仍然相對(duì)較低。事實(shí)上,在最近的一項(xiàng)針對(duì)大數(shù)據(jù)從業(yè)者的調(diào)查發(fā)現(xiàn),只有百分之十三的企業(yè)對(duì)于大數(shù)據(jù)已經(jīng)實(shí)現(xiàn)了全方位的應(yīng)用。
這一比例無(wú)疑是非常小的。
Zoomdata 公司首席執(zhí)行官Justin Langseth在接受采訪(fǎng)時(shí)告訴我說(shuō),當(dāng)談到大數(shù)據(jù)時(shí),其設(shè)計(jì)與性能其實(shí)同樣重要。事實(shí)證明,“大”數(shù)據(jù)如若不能轉(zhuǎn)化為“有用的”數(shù)據(jù)的話(huà),也沒(méi)有多大意義。
大數(shù)據(jù)的小成功
大數(shù)據(jù)革命最好的特點(diǎn)之一是其由于有了零成本的開(kāi)源軟件變得更強(qiáng)大。而商務(wù)智能一直受困于復(fù)雜而價(jià)格昂貴的軟件,但在今天,最具創(chuàng)新性的大數(shù)據(jù)技術(shù)僅僅只需一個(gè)下載即可獲得。
至少,理論上是這樣的。
但在實(shí)踐中,任何曾試圖下載過(guò)Hadoop的人都可能會(huì)告訴你說(shuō),其是否奏效要“看人品”。當(dāng)Cloudera的聯(lián)合創(chuàng)始人邁克·奧爾森宣稱(chēng),“在過(guò)去的十年里,沒(méi)有任何一款占主導(dǎo)地位的平臺(tái)級(jí)軟件基礎(chǔ)架構(gòu)是在封閉源代碼,專(zhuān)有的形式下興起并發(fā)展起來(lái)的?!彼墙^對(duì)正確的,包括像Hadoop,MongoDB,Spark及Cassandra等最佳的數(shù)據(jù)基礎(chǔ)設(shè)施。
但占據(jù)主導(dǎo)并不一定意味著容易。
根據(jù)凱捷的一項(xiàng)調(diào)研顯示,其受訪(fǎng)者中,只有27%的受訪(fǎng)者認(rèn)為他們所在企業(yè)的大數(shù)據(jù)項(xiàng)目是“成功的”;而只有8%的受訪(fǎng)者將其大數(shù)據(jù)項(xiàng)目描述為“非常成功”。即使有概念證明項(xiàng)目陷入困境,成功率也只有38%。
有些問(wèn)題很難從人們所部署的技術(shù)中分離出來(lái),包括“處理分散的筒倉(cāng)數(shù)據(jù),分析計(jì)劃協(xié)調(diào)不力,缺乏清晰的商業(yè)案例以支撐大數(shù)據(jù),以及依賴(lài)于傳統(tǒng)遺留的系統(tǒng)來(lái)處理和分析大數(shù)據(jù)”。
但所有這些最終都將歸結(jié)為將大數(shù)據(jù)的承諾轉(zhuǎn)化為企業(yè)充分利用大數(shù)據(jù)分析技術(shù)能力的困難程度。
大數(shù)據(jù)的設(shè)計(jì)也是相當(dāng)重要的。Langseth告訴我說(shuō),他在Zoomdata公司所雇用的首批員工之一,是來(lái)自紐約的著名爵士樂(lè)Blue Note Records唱片公司,且屢獲殊榮的專(zhuān)輯封面設(shè)計(jì)師。(想象一下John Coltrane,Thelonious Monk,Sonny Rollins,等等的專(zhuān)輯封面均出自他們之手)。
是的,一名曾經(jīng)的專(zhuān)輯封面設(shè)計(jì)師現(xiàn)在正在設(shè)計(jì)大數(shù)據(jù)系統(tǒng)——而在Zoomdata公司的大數(shù)據(jù)項(xiàng)目設(shè)計(jì)團(tuán)隊(duì)雇傭這種背景的設(shè)計(jì)師更多的是規(guī)則而不是例外。顯然,Zoomdata公司有著其不同的大數(shù)據(jù)方法。當(dāng)我問(wèn)Langseth如何以簡(jiǎn)潔的觀(guān)點(diǎn)來(lái)提煉這種以設(shè)計(jì)為中心的方法時(shí),他說(shuō),這可以歸結(jié)為三個(gè)主要方面:
1、自上而下的授權(quán)委任。首先,必須要有來(lái)自企業(yè)高層的授權(quán)委任,以推動(dòng)建設(shè)一款以設(shè)計(jì)驅(qū)動(dòng)的應(yīng)用程序的任務(wù)。這對(duì)于企業(yè)技術(shù)來(lái)說(shuō)是非常罕見(jiàn)的。
托尼·法戴爾,iPod的“設(shè)計(jì)之父”之一,就顯示出了優(yōu)秀的設(shè)計(jì)如何有助于消費(fèi)類(lèi)產(chǎn)品的原理,如蘋(píng)果公司的iPod,及其后來(lái)加盟的Nest公司,乃至現(xiàn)在的谷歌。史蒂夫·喬布斯是蘋(píng)果公司具有前瞻性的標(biāo)志性的領(lǐng)導(dǎo)。而托尼曾在史蒂夫的領(lǐng)導(dǎo)下工作,并把這種觀(guān)點(diǎn)帶到了Nest公司,以及谷歌。
盡管這在面向消費(fèi)者的技術(shù)領(lǐng)域獲得了成功,但幾乎沒(méi)有經(jīng)企業(yè)領(lǐng)導(dǎo)授權(quán)成功開(kāi)發(fā)企業(yè)軟件這方面的例子。這就是為什么大多數(shù)企業(yè)軟件均不樂(lè)觀(guān)的原因所在了。
2、設(shè)計(jì)人員占員工數(shù)量的比例。Langseth還強(qiáng)調(diào),企業(yè)需要將以設(shè)計(jì)為中心的理念納入到自己的招聘中。也就是說(shuō),企業(yè)必須讓其UX設(shè)計(jì)師在開(kāi)發(fā)人員中占據(jù)一定的比例,以便能夠影響企業(yè)的以設(shè)計(jì)為中心的任務(wù)。
Zoomdata公司,旨為在讓團(tuán)隊(duì)中開(kāi)發(fā)人員與設(shè)計(jì)人員的比例達(dá)到5比1。而在大多數(shù)的企業(yè)軟件公司,這一比例則接近50比1。所以這也可以說(shuō)是大多數(shù)軟件企業(yè)的用戶(hù)體驗(yàn)是如此糟糕的一個(gè)主要的原因——包括大數(shù)據(jù),這畢竟是一個(gè)開(kāi)發(fā)人員所推動(dòng)的趨勢(shì)。
3、定期讓普通員工參與測(cè)試。Langseth的第三條建議是,整個(gè)UX團(tuán)隊(duì)必須定期讓一般的普通員工參與進(jìn)來(lái),而不僅進(jìn)只是讓分析專(zhuān)家執(zhí)行可用性測(cè)試。極客們固然非常擅長(zhǎng)開(kāi)發(fā)軟件,但這真正關(guān)系到的是企業(yè)的項(xiàng)目運(yùn)行,所以必須讓主流用戶(hù)能夠充分理解并領(lǐng)會(huì)。
Langseth指出:
這能夠使我們的應(yīng)用程序更易于為大街上任何一個(gè)普通人隨意使用,他們可能熟悉諸如Excel等軟件,但可能并不是一位商務(wù)智能分析專(zhuān)員。從戰(zhàn)略的角度來(lái)看,這讓我們的應(yīng)用程序能夠面臨更廣泛的受眾,而不僅僅只是關(guān)注于少數(shù)專(zhuān)家。
這是至關(guān)重要的。最終,大數(shù)據(jù)必須要當(dāng)它能夠適用于所有形式時(shí)才是真正可用的。數(shù)據(jù)專(zhuān)家Peter Goldmacher在一點(diǎn)年前就提出這樣的觀(guān)點(diǎn)。他說(shuō),在大數(shù)據(jù)領(lǐng)域,最大贏家是那些構(gòu)建了易于使用的應(yīng)用程序的企業(yè)。
設(shè)計(jì)人員也是開(kāi)發(fā)人員
同時(shí),企業(yè)需要了解開(kāi)發(fā)人員畢竟比不上最優(yōu)秀的設(shè)計(jì)師,Zoomdata希望公司的設(shè)計(jì)師了解如何編程。Langseth堅(jiān)持認(rèn)為,“所有的優(yōu)秀的藝術(shù)家和設(shè)計(jì)師均要熟悉他們向外界傳達(dá)藝術(shù)的媒介。舉例來(lái)說(shuō),一個(gè)好畫(huà)家肯定會(huì)自己調(diào)配顏料,并自己建畫(huà)布?!?/span>
這意味著,她/他知道自己向外界傳達(dá)藝術(shù)的媒介的局限性在哪里,以及如何更好的表達(dá)藝術(shù)。Zoomdata并不希望自己的設(shè)計(jì)師與開(kāi)發(fā)人員不能很好的溝通,所以他們必須熟悉代碼。
為我們其余的人設(shè)計(jì)
同樣重要的是,使用程序語(yǔ)言運(yùn)行大量的研究測(cè)試。Langseth建議,關(guān)鍵的一點(diǎn)在于“一定要避免在其中使用特定行業(yè)的專(zhuān)業(yè)術(shù)語(yǔ),諸如Hive或Pig的細(xì)微差別?”千萬(wàn)不要!大數(shù)據(jù)項(xiàng)目的最終目標(biāo)是成為民主化企業(yè)的數(shù)據(jù)資產(chǎn),這意味著其必須為那些一般性的員工使用,而非核心數(shù)據(jù)科學(xué)家或分析師。
這應(yīng)該是其最終的落腳點(diǎn)。大數(shù)據(jù)想要真正獲得長(zhǎng)足發(fā)展,就需要成為不僅僅只是數(shù)據(jù)科學(xué)家的工具。Gartner分析師Svetlana Sicular指出,“要讓學(xué)習(xí)Hadoop比學(xué)習(xí)公司的業(yè)務(wù)更容易。”
至少,其應(yīng)該是這樣。但問(wèn)題在于企業(yè)需要的是那些學(xué)會(huì)了Hadoop的人能夠?qū)⑵浞g成企業(yè)一般員工熟悉的業(yè)務(wù)語(yǔ)言。微軟正在試圖做到這一點(diǎn),就像Zoomdata正在試圖將非結(jié)構(gòu)化數(shù)據(jù)從NoSQL數(shù)據(jù)庫(kù)、Hadoop等等提取出來(lái)一樣。
雖然大數(shù)據(jù)項(xiàng)目的設(shè)計(jì)并不是實(shí)現(xiàn)這一目標(biāo)的唯一因素,但這其也是相當(dāng)關(guān)鍵的組成部分,而大多數(shù)企業(yè)忽視了這一重要組成部分。這也可以說(shuō)是大數(shù)據(jù)項(xiàng)目不斷失敗的一大原因。為了將大數(shù)據(jù)項(xiàng)目做到更好。專(zhuān)注于大數(shù)據(jù)的設(shè)計(jì),可以提供幫助。
數(shù)據(jù)分析咨詢(xún)請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫(kù)操作中,誤刪數(shù)據(jù)、錯(cuò)改字段或誤執(zhí)行批量更新等問(wèn)題時(shí)有發(fā)生。 ...
2025-07-14如何考取數(shù)據(jù)分析師證書(shū):以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價(jià)值、驅(qū)動(dòng)決策的 ...
2025-07-14t檢驗(yàn)與Wilcoxon檢驗(yàn)的選擇:何時(shí)用t.test,何時(shí)用wilcox.test? t 檢驗(yàn)與 Wilcoxon 檢驗(yàn)的選擇:何時(shí)用 t.test,何時(shí)用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開(kāi)啟新時(shí)代職業(yè)生涯的鑰匙(深度研究報(bào)告、發(fā)展指導(dǎo)白皮書(shū)) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶(hù) ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱(chēng) BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢(xún)到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢(xún)結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢(xún)結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專(zhuān)注于從單 ...
2025-07-09year_month數(shù)據(jù)類(lèi)型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類(lèi)型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門(mén)控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書(shū)考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07