光“大”是不行的，開放才能實現(xiàn)大數(shù)據(jù)的深發(fā)展(2)_數(shù)據(jù)分析師

三個關于開放的概念

　　1、數(shù)據(jù)開放

　　首先是狹義的數(shù)據(jù)開放。數(shù)據(jù)開放的主體是政府和科研機構(gòu)，把非涉密的政府數(shù)據(jù)及科研數(shù)據(jù)開放出來。現(xiàn)在也有一些企業(yè)愿意開放數(shù)據(jù)，像Netflix和一些電信運營商，來幫助他們的數(shù)據(jù)價值化，建構(gòu)生態(tài)系統(tǒng)。但是數(shù)據(jù)開放不等于信息公開。首先，數(shù)據(jù)不等于信息，信息是從數(shù)據(jù)里面提煉出來的東西。我們希望，首先要開放原始的數(shù)據(jù)(raw data)，其次，它是一種主動和免費的開放，我們現(xiàn)在經(jīng)常聽說要申請信息公開，那是被動的開放。

　　Tim Berners Lee提出了數(shù)據(jù)開放的五星標準，以保證數(shù)據(jù)質(zhì)量：一星是開放授權(quán)的格式，比如說PDF;其次是結(jié)構(gòu)化，把數(shù)據(jù)從文件變成了像excel這樣的表;三星是開放格式，如CSV;四星是能夠通過URI找到每一個數(shù)據(jù)項;五星代表能夠和其它數(shù)據(jù)鏈接，形成一個開放的數(shù)據(jù)圖譜。

　　現(xiàn)在主流的數(shù)據(jù)開放門戶，像data.dov或data.gov.uk，都是基于開源軟件。英特爾在MIT的大數(shù)據(jù)科研中心也做了一種形態(tài)，叫Datahub：吉祥物很有趣，一半是大象，代表數(shù)據(jù)庫技術(shù)，一半是章魚，取自github的吉祥物章魚貓。它提供更多的功能比如易管理性，提供結(jié)構(gòu)化數(shù)據(jù)服務和訪問控制，對數(shù)據(jù)共享進行管理，同時可以在原地做可視化和分析。

　　廣義的數(shù)據(jù)開放還有數(shù)據(jù)的共享及交易，比如點對點進行數(shù)據(jù)共享或在多邊平臺上做數(shù)據(jù)交易。馬克思說生產(chǎn)資料所有制是經(jīng)濟的基礎，但是現(xiàn)在大家可以發(fā)現(xiàn)，生產(chǎn)資料的租賃制變成了一種主流(參考《Lean Startup》)，在數(shù)據(jù)的場景下，我不一定擁有數(shù)據(jù)，甚至不用整個數(shù)據(jù)集，但可以租賃。租賃的過程中要保證數(shù)據(jù)的權(quán)利。

　　首先，我可以做到數(shù)據(jù)給你用，但不可以給你看見。姚期智老先生82年提出“millionaires’ dilemma(百萬富翁的窘境)”，兩個百萬富翁比富誰都不愿意說出自己有多少錢，這就是典型的“可用但不可見”場景。在實際生活中的例子很多，比如美國國土安全部有恐怖分子名單(數(shù)據(jù)1)，航空公司有乘客飛行記錄(數(shù)據(jù)2)，國土安全部向航空公司要乘客飛行記錄，航空公司不給，因為涉及隱私，他反過來向國土安全部要恐怖分子名單，也不行，因為是國家機密。雙方都有發(fā)現(xiàn)恐怖分子的意愿，但都不愿給出數(shù)據(jù)，有沒有辦法讓數(shù)據(jù)1和數(shù)據(jù)2放一起掃一下，但又保障數(shù)據(jù)安全呢?

　　其次，在數(shù)據(jù)使用過程中要有審計，萬一那個掃描程序偷偷把數(shù)據(jù)藏起來送回去怎么辦?再者，需要數(shù)據(jù)定價機制，雙方數(shù)據(jù)的價值一定不對等，產(chǎn)生的洞察對各方的用途也不一樣，因此要有個定價機制，比大鍋飯式的數(shù)據(jù)共享更有激勵性。

　　從點對點的共享，走到多邊的數(shù)據(jù)交易，從一對多的數(shù)據(jù)服務到多對多的數(shù)據(jù)市場，再到數(shù)據(jù)交易所。如果說現(xiàn)在的數(shù)據(jù)市場更多是對數(shù)據(jù)集進行買賣的話，那么數(shù)據(jù)交易所就是一個基于市場進行價值發(fā)現(xiàn)和定價的，像股票交易所那樣的、小批量、高頻率的數(shù)據(jù)交易。

　　我們支持了不少研究來實現(xiàn)剛才所說的這些功能，比如說可用而不可見。案例一是通過加密數(shù)據(jù)庫CryptDB/Monomi實現(xiàn)，在數(shù)據(jù)擁有方甲方這邊的數(shù)據(jù)庫是完全加密的，這事實上也防止了現(xiàn)在出現(xiàn)的很多數(shù)據(jù)泄露問題，大家已經(jīng)聽到，比如說某互聯(lián)網(wǎng)服務提供商的員工偷偷把數(shù)據(jù)拿出來賣，你的數(shù)據(jù)一旦加密了他拿出來也沒用。其次，這個加密數(shù)據(jù)庫可以運行乙方的普通SQL程序，因為它采用了同態(tài)加密技術(shù)和洋蔥加密法，SQL的一些語義在密文上也可以執(zhí)行。

　　針對“百萬富翁的窘境”，我們做了另一種可用但不可見的技術(shù)，叫做數(shù)據(jù)咖啡館。大家知道咖啡館是讓人和人進行思想碰撞的地方，這個數(shù)據(jù)咖啡館就是讓數(shù)據(jù)和數(shù)據(jù)能夠碰撞而產(chǎn)生新的價值。

　　比如兩個電商，一個是賣衣服的，一個是賣化妝品的，他們對于客戶的洞察都是相對有限的，如果兩邊的數(shù)據(jù)放在一起做一次分析，那么就能夠獲得全面的用戶畫像。再如，癌癥是一類長尾病癥，有太多的基因突變，每個研究機構(gòu)的基因組樣本都相對有限，這在某種程度上解釋了為什么過去50年癌癥的治愈率僅僅提升了8%。那么，多個研究機構(gòu)的數(shù)據(jù)在咖啡館碰一碰，也能夠加速癌癥的研究。

　　在咖啡館的底層是多方安全計算的技術(shù)，基于英特爾和伯克利的一個聯(lián)合研究。在上面是安全、可信的Spark，基于“data lineage”的使用審計，根據(jù)各方數(shù)據(jù)對結(jié)果的貢獻進行定價。

　　2、大數(shù)據(jù)基礎設施的開放

　　現(xiàn)在有的是有大數(shù)據(jù)思維的人，但他們很捉急，玩不起、玩不會大數(shù)據(jù)，他不懂怎么存儲、怎么處理這些大數(shù)據(jù)，這就需要云計算?；A設施的開放還是傳統(tǒng)的Platform as a Service，比如Amazon AWS里有MapReduce，Google有Big Query。這些大數(shù)據(jù)的基礎處理和分析平臺可以降低數(shù)據(jù)思維者的門檻，釋放他們的創(chuàng)造力。

　　比如decide.com，每天爬幾十萬的數(shù)據(jù)，對價格信息(結(jié)構(gòu)化的和非結(jié)構(gòu)化的)進行分析，然后告訴你買什么牌子、什么時候買最好。只有四個PhD搞算法，其他的靠AWS。另一家公司Prismatic，也利用了AWS，這是一家做個性化閱讀推薦的，我專門研究過它的計算圖、存儲和高性能庫，用LISP的一個變種Clojure寫的非常漂亮，真正做技術(shù)的只有三個學生。

　　所以當這些基礎設施社會化以后，大數(shù)據(jù)思維者的春天很快就要到來。

　　3、價值提取能力的開放

　　現(xiàn)在的模式一般是一大一小或一對多。比如Tesco和Dunnhumby，后者剛開始是很小的公司，找到Tesco給它做客戶忠誠度計劃，一做就做了幾十年，這樣的長期戰(zhàn)略合作優(yōu)于短期的數(shù)據(jù)分析服務，決策更注重長期性。當然，Dunnhumby現(xiàn)在已經(jīng)不是小公司了，也為其他大公司提供數(shù)據(jù)分析服務。再如沃爾瑪和另外一家小公司合作，做數(shù)據(jù)分析，最后他把這家小公司買下來了，成了它的Walmart Labs。

　　一對多的模式，典型的是Palantir——Peter Thiel和斯坦福的幾個教授成立的公司，目前還是私有的，但估值近百億了，它很擅長給各類政府和金融機構(gòu)提供數(shù)據(jù)價值提取服務。真正把這種能力開放的是Kaggle，它的雙邊，一邊是10多萬的分析師，另一邊是需求方企業(yè)，企業(yè)在Kaggle上發(fā)標，分析師競標，獲得業(yè)務。這可能是真正解決長尾公司價值提取能力的辦法。當然，如果能和我們的數(shù)據(jù)咖啡館結(jié)合，就更好了。