治理分析應用 保護客戶數(shù)據(jù)

CDPQ是加拿大魁北克省蒙特利爾市一家公司，該公司管理著加拿大魁北克的公共部門養(yǎng)老基金。該公司正面臨一個棘手的問題：如何監(jiān)管其數(shù)據(jù)科學家和業(yè)務分析師基于分析應用所做的工作，同時還不會妨礙他們的工作。

作為新數(shù)據(jù)管理架構的一部分，其設計是為幫助提升其分析能力，CDPQ在數(shù)據(jù)倉庫內(nèi)部設置了分離的數(shù)據(jù)沙箱，給分析師提供探索和原型用途。CDPQ負責建模和業(yè)務分析的高級主管Luc Veillette介紹，他們的目標是為分析師們清理道路，快速研制算法并對業(yè)務問題給出答案——最終實現(xiàn)更好的投資計劃和投資組合管理決策。

但是，這并不意味著可以全權委托。CDPQ的數(shù)據(jù)治理項目包括一組使用規(guī)則，例如：只要有可用的官方公司數(shù)據(jù)源，分析師們必須使用這些數(shù)據(jù)源;分析模型需要在審計階段審查。他和其它經(jīng)理們還要對分析活動保持關注。

他說：“我們對于我們的數(shù)據(jù)科學家做什么，努力形成集中的認識。另外CDPQ想確保分析過程有文檔記錄下來，而且數(shù)據(jù)不會被誤用。即便如此，治理工作也并不是高壓強制措施，而是一種協(xié)作行為，為了讓業(yè)務單元持續(xù)走上數(shù)據(jù)驅(qū)動的發(fā)展方向?！?

Intuit公司個人理財軟件開發(fā)者已經(jīng)把這種協(xié)作帶到了另一個層面。兩年前，Intuit把其150人的分析團隊安置為法務部門的一部分，并且讓律師們和分析經(jīng)理、數(shù)據(jù)科學家和其他員工配合工作，一起確立訪問和分析不同客戶數(shù)據(jù)集的規(guī)則，使各個產(chǎn)品線配合更加緊密。

分析應用程序的不同優(yōu)先級

Laura Fennell是Intuit公司的高級副總裁，兼法律顧問和秘書，他說此舉是因擴展分析應用的需求而產(chǎn)生的，為了推動產(chǎn)品研發(fā)和市場策略，同時維護客戶個人信息，盡力避免任何形式的數(shù)據(jù)誤用。誤用可能會損害加利福尼亞州Mountain View公司的名聲。

Fennell說：“我們必須做正確的事。分析的利益是巨大的，但是風險也是巨大的。我們客戶的信任就是品牌的一切。這是我們客戶的數(shù)據(jù)，不是我們的數(shù)據(jù)。涉及信息總量巨大：截止今年年初，我們有超過五千萬客戶，數(shù)據(jù)累積超過6PB?！?

分析團隊負責人Bill Loconzolo在剛剛結束的Strata+Hadoop2015全球大會上展示了一次聯(lián)合演示，F(xiàn)ennell承認“我們對關系的處理真是萬事開頭難”。法律團隊看到了大量需要保護的敏感數(shù)據(jù)，數(shù)據(jù)科學家質(zhì)疑如果在流程中有律師參與，他們怎么能做出來創(chuàng)新性的分析工作。Loconzolo說，即便現(xiàn)在，為什么分析團隊屬于法律部門也仍然是“一個不斷被問及的問題，我們一直在解答這個問題”，每次他和其他管理者們招募到了新的分析師就需要解釋一次。

但是，Loconzolo說這種搭配經(jīng)證明是有好處的，他現(xiàn)在的頭銜是數(shù)據(jù)工程副總裁。在此之前，分析團隊主要是為明確客戶數(shù)據(jù)保護措施而努力工作，作為獨立的業(yè)務單元一對一的交流，法律團隊在形成技術決策以后提供輸入。但是，Loconzolo說這樣做流程太慢而且“極其痛苦”，可能會要幾年時間才能完成整個公司64個產(chǎn)品名錄的相關工作。Intuit加快了這項工作，把更多數(shù)據(jù)放到了專為分析用途建立的私有云，經(jīng)過這樣的集中化處理，就把律師從業(yè)務單元帶到了原始數(shù)據(jù)的面前。

律師們還必須調(diào)整他們對新流程環(huán)節(jié)的認識。Fennell說：“我們的工作必須調(diào)整，不能只是說不行，要考慮我們怎樣能使工作運轉(zhuǎn)起來。目標不是完全鎖定在客戶數(shù)據(jù)，而是要弄清楚如何使數(shù)據(jù)量合適，以便分析師們可以完成他們的工作。要避免不同方向兩頭使勁，他們要把待分析數(shù)據(jù)訪問的目標共享出來，讓大家都能有分析用途的數(shù)據(jù)訪問，也分擔了實現(xiàn)那些目標的職責?！?

Rent the Runway 是紐約一家創(chuàng)業(yè)公司，該公司利用互聯(lián)網(wǎng)租借禮服和時尚配飾用于婚禮、聚會派對和其它活動。該公司要處理的數(shù)據(jù)比Intuit少，但是對于處理系統(tǒng)中的客戶數(shù)據(jù)避免步驟出錯也有類似的擔憂。

Vijay Subramanian是該公司的首席分析官。他說：“這正是我們思考的內(nèi)容。我們的理念是‘客戶至上，信任第一’”。由于Rent the Runway 公司現(xiàn)在還沒有自己的法務部門，所以他在外面聘請律師來操作，審核在線表單收集的尺碼信息和其他數(shù)據(jù)，這些數(shù)據(jù)會導入到網(wǎng)站的推薦引擎中用來幫助給訪問網(wǎng)站的用戶推薦他們可能喜歡的服飾。

為分析項目限制時間

該創(chuàng)業(yè)公司資源非常有限，而其業(yè)務需求變化很快。結果，Subramanian試圖限制他的團隊所做開發(fā)項目的周期不超過三個月到六個月。他說：“對于要做的業(yè)務來說，超過這個時間范圍就有巨大風險，我們沒有那么奢侈的時限?！?

Rent the Runway公司的數(shù)據(jù)科學家們使用Python或者開源R編程語言來編寫機器學習算法，包括增強的推薦引擎和用于微調(diào)定價的需求預測系統(tǒng)。為幫助保證開發(fā)流程向前推進，Subramanian采用了所謂的最小化變化產(chǎn)品方法學，該策略限制算法實現(xiàn)盡可能少的功能并高效實現(xiàn)。他說，然后數(shù)據(jù)科學家們可以回過頭來在另一輪開發(fā)周期中再添加算法，他希望在項目中避免“沙漠中漫無目的的游蕩”。

在后端，Rent the Runway公司把數(shù)據(jù)放到數(shù)據(jù)倉庫，使用了HP的Vertica數(shù)據(jù)庫，把來自MySQL系統(tǒng)的傳統(tǒng)數(shù)據(jù)和來自MongoDB的NoSQL數(shù)據(jù)(存儲關于對服飾的態(tài)度評價信息)，還有跟蹤網(wǎng)站活動的JSON日志文件混存到了一起。隨著該公司數(shù)據(jù)量的增長，Subramanian說他希望最終在Vertica之前增加一套Hadoop系統(tǒng)作為資產(chǎn)存儲所有原始數(shù)據(jù)。

在他們公司有一件事永遠不會落伍，就是在利用分析應用改善業(yè)務方面做投資。Rent the Runway公司需要數(shù)據(jù)來驅(qū)動成功。他強調(diào)說：“我們看起來像是常規(guī)的時尚業(yè)公司，但是我們必須有良好的數(shù)據(jù)存儲使消費者信服，進而只租不買”。