怎樣評估BI項目成功與否

添加文章“諷刺的是，我們在組織中什么都要評估，但卻沒有一套好的方法來評估自己的效率?！?br />         這句話是我問Eric Colson如何評估BI分析團隊的成功時他對我說的。Eric曾經(jīng)是Netflix數(shù)據(jù)科學與工程部門的副總裁，現(xiàn)在是Stitch Fix的首席數(shù)據(jù)官。
        Eric表示，關(guān)于BI項目成功他能想到的最好的經(jīng)驗評估法就是業(yè)務(wù)部門領(lǐng)導(dǎo)在常規(guī)運營考核會議上提到自己團隊的次數(shù)。如果業(yè)務(wù)部門負責人告訴高管他正在與BI團隊實施一個戰(zhàn)略性項目，Eric就會認為他的團隊有信心在業(yè)務(wù)方面作出有價值的貢獻。他說：“既然他們能把我們當做戰(zhàn)略性合作伙伴，也就表示我們做的不錯?！?br />         對于大多數(shù)BI經(jīng)理來說，成功的評估通常都是后話。批準一個項目并從中獲得成果本就不易，更別說還要啟動另一個項目去評估你的團隊績效了。那么，如果條件允許，你會怎樣評估呢？
       ·使用率追蹤
        許多BI經(jīng)理都會追蹤使用率來評估績效與價值。他們監(jiān)控有多少用戶持有BI授權(quán)、登陸的頻率、運行報告的平均數(shù)量、針對哪些數(shù)據(jù)元素的查詢數(shù)量等等。但是高使用率不一定代表用戶獲得了大量的價值或者收獲的價值與組織的BI投入持平。舉個例子，假設(shè)有1000名用戶，其中25%的登陸頻率為一周，但他們登陸上去只用五分鐘運行了一個報告，這樣用戶的活動很多，但真正的攝入很少。
       ·調(diào)研
        有的BI經(jīng)理會更進一步，向BI用戶發(fā)送調(diào)研問卷以了解他們對于BI工具和報表的滿意度。不幸的是，據(jù)我了解，調(diào)研參與的比率低的可憐（當然近兩年來所有的調(diào)研現(xiàn)狀都是如此），也就是說調(diào)研結(jié)果準確性不高。通常來講，參與者不是好評就是差評，不夠中肯；真正有價值的大眾一般不會參與調(diào)研。個人認為，調(diào)研問卷作為成功的測量尺的價值有待商榷。
      ·社交媒體分析
        我認識一位BI經(jīng)理，他希望在團隊的BI報告中加入社交媒體特性，比如讓用戶打分、評論和分享，通過社交媒體分析來評估每一份報告的價值，經(jīng)驗和主觀數(shù)據(jù)都不放過，甚至還應(yīng)包括用戶從BI交付中獲取的價值。這一做法還能夠幫助BI團隊過濾未使用和被低估的報告，以更好地了解不同數(shù)據(jù)對于不同用戶的價值。
       ·傳播集市
        我過去開玩笑會說，BI項目的成功與環(huán)境中傳播集市的數(shù)量成反比。從理論上講，公司中存在的數(shù)據(jù)影子系統(tǒng)脫離的越少，用戶從BI團隊的報告、儀表盤和自助式報表工具中獲取的價值就會越多。當然了，這就意味著BI經(jīng)理必須在他的組織中發(fā)現(xiàn)并監(jiān)控所有的傳播集市。這與“打地鼠”游戲類似，一旦發(fā)現(xiàn)了一個傳播集市并將其集成到數(shù)據(jù)倉庫中，就會有更多的集市出乎意料地“跳”出來。
       ·成本效率
        優(yōu)秀的BI經(jīng)理會追蹤決策制定的成本。在他們擬定BI項目之前，會先設(shè)立一套價格基準，考量硬件軟件的授權(quán)費以及分析師每周在數(shù)據(jù)權(quán)限方面花費的時間。BI項目完成后，經(jīng)理會再次評估這些條目，并將結(jié)果與基準比照，估算BI項目的金融提升。
        首次實施BI項目的企業(yè)為了使數(shù)據(jù)采集和傳輸流程變得更加高效，通常會在決策制定過程中徒增不少開支；然而擁有成熟BI項目的公司一般不會發(fā)生這種情況，因為他們的BI流程已經(jīng)得到改進。對此，BI經(jīng)理必須注重以組織戰(zhàn)略性價值為基礎(chǔ)的BI項目持續(xù)性投資，包括更優(yōu)決策價值的評估、數(shù)據(jù)的關(guān)鍵任務(wù)流程和更廣泛的員工知情權(quán)等。這些工作雖然不容易，但仍可以完成，只不過無法預(yù)料是否會被一位冷酷的上級否決。
       ·回到起點
        整條思路就像一個大圓，把我們帶回了Eric Colson。也許追蹤BI團隊在會議中被提及的次數(shù)不是一個科學的方法，又或者它看起來有一點荒誕與自大，但至少在我看來，這是目前能夠真正評估BI項目價值的最優(yōu)指標