透過大數(shù)據(jù)看企業(yè)創(chuàng)新

如何發(fā)現(xiàn)大數(shù)據(jù)中的價(jià)值，是我們研究大數(shù)據(jù)的重要原因。作者介紹了若干簡單的數(shù)據(jù)分析模型，分析創(chuàng)業(yè)成功的效率。另外，通過對(duì)比連續(xù)三年的演講的話題的數(shù)量，得出了那些話題正在走向熱門。而話題中的熱點(diǎn)詞的變化，也反映了話題方向的變化。

技術(shù)與創(chuàng)新是幾乎所有初創(chuàng)IT公司賴以生存發(fā)展的根本，也是像Google、Apple這樣的巨無霸們前進(jìn)的動(dòng)力，EMC也不例外。除了自上而下的創(chuàng)新，EMC更加注重自下而上的crowdsourcing式的創(chuàng)新。在每年的Innovation Showcase活動(dòng)中，EMC鼓勵(lì)員工針對(duì)公司的產(chǎn)品，服務(wù)，運(yùn)營，員工等各個(gè)方面提出自己的創(chuàng)意。經(jīng)過一系列的評(píng)審，出眾的點(diǎn)子會(huì)入圍 Finalist，甚至成為某些獎(jiǎng)項(xiàng)的Winner。更重要的，這些點(diǎn)子還有被立項(xiàng)孵化的可能。

在2011年度的Innovation Showcase中，EMCer們創(chuàng)紀(jì)錄地提出了近1500個(gè)創(chuàng)新Ideas，可謂百花齊放，百家爭(zhēng)鳴。通過分析這樣的數(shù)據(jù)，我們首先可以：

? 獲得基本的統(tǒng)計(jì)信息。類似商業(yè)報(bào)表，我們可能關(guān)心的信息包含有多少人參與了這樣的活動(dòng)，他們的地理分布，他們的職位分布，哪些人是effective innovators等等。

更有趣的，我們可以對(duì)這些Idea進(jìn)行一個(gè)主題模型分析，從而：

? 洞察到這些點(diǎn)子的潛在語義結(jié)構(gòu)

? 分析這些點(diǎn)子包含的主題信息，同時(shí)刻畫主題。

EMC是一個(gè)技術(shù)驅(qū)動(dòng)的IT公司，通過深化主題分析的結(jié)果，我們更進(jìn)一步地

? 了解到哪方面的技術(shù)是EMCer最關(guān)心的，并且

? 研究年復(fù)一年的技術(shù)趨勢(shì)的變化。

為了達(dá)到這些目的，以數(shù)據(jù)分析為己任的ELC大數(shù)據(jù)實(shí)驗(yàn)室利用相關(guān)分析工具，通過數(shù)據(jù)科學(xué)家和對(duì)公司業(yè)務(wù)熟悉的領(lǐng)域?qū)＜覀兊拿芮袇f(xié)作，從數(shù)據(jù)中挖掘出了一些有趣的結(jié)果。在保護(hù)公司IP和個(gè)人Privacy的前提下，我們選擇性地展示其中一些結(jié)果。

1.尋找Effective Innovators

Figure 1 氣泡圖幫助尋找effective innovators

為了在所有的Submitter中尋找最有效率的創(chuàng)新者，我們統(tǒng)計(jì)了每個(gè)Innovator的投稿數(shù)（NEntries）和入圍Finalist的點(diǎn)子數(shù)目（NFinalists）。我們可以效率定義：

Effectiveness = NFinalists / NEntries

除了這種數(shù)值的表示，我們也使用了可視化的方法來輔助尋找effective innovator。如圖所示，橫軸表示NEntries，縱軸表示NFinalists。每個(gè)innovator的（NEntries, NFinalists）對(duì)應(yīng)于圖中的一個(gè)點(diǎn)。比如紅框內(nèi)的點(diǎn)表示某個(gè)Innovator投了14個(gè)Ideas，其中5個(gè)入圍。定性地說，位于圖中左上角的 Innovator都是有效率的創(chuàng)新人。需要注意的是，當(dāng)多個(gè)Innovator具有相同（NEntries,NFinalists）對(duì)時(shí)，它們?cè)趫D上顯示為同一個(gè)點(diǎn)。點(diǎn)的顏色深度反映了這種重合度的強(qiáng)弱。

我們是利用Google Public Data Explorer來做這樣的展現(xiàn)的，利用這個(gè)工具的一個(gè)好處就是方便發(fā)布分析結(jié)果：https://plus.google.com/u/0/113662585874608138956/posts/SHYJ6NjYsYj。它提供基本的交互功能，比如將鼠標(biāo)放置某點(diǎn)上， 會(huì)顯示此Innovator的姓名。為了公司寶貴的人力資源，這兒顯示的姓名全都做過加密，希望能替公司保護(hù)各位Innovator的信息^-^。

2.尋找Idea中蘊(yùn)含的主題

通俗地說，主題分析就是去分析發(fā)現(xiàn)每一篇文章的主要議題是什么。比如新浪新聞上有講政治的，有講體育的，也有關(guān)于軍事的，屬于同一個(gè)主題下的文章應(yīng)該在用詞、表達(dá)上有一定的相似處。所以，主題分析本質(zhì)上是一個(gè)聚類（Clustering）的過程，即把相似的文章聚成一類，然后通過分析這一類文章的內(nèi)容來概 括出主題。這兒需要強(qiáng)調(diào)的是，通常的主題分析是一種探索性的、無監(jiān)督的分析：數(shù)據(jù)里面沒有顯性的主題或Tag；甚至在分析前，也不知道這些文本里蘊(yùn)含了多 少個(gè)主題，每個(gè)主題的名字是什么。

主題分析最流行的工具是LDA（Latent Dirichlet Allocation）。LDA是ML大牛David Blei在博士期間在老牛M. I. Jordan的指導(dǎo)下做的工作。最早的Journal Version是2003年的JMLR，最近Blei又寫了一片關(guān)于LDA的綜述類文章“Introduction to Probabilistic Topic Models”。關(guān)于這個(gè)課題，

初級(jí)的讀者可以了解一下LDA是為了做什么的，重點(diǎn)理解Bag of Words的輸入，以及輸出的結(jié)果的展現(xiàn)。

中級(jí)的讀者如果有概率圖模型PGM的基礎(chǔ)，可以試著了解LDA所基于的概率假設(shè)和概率模型是什么，去思考為什么這樣的假設(shè)是合理的。這兒需要一些基本概念，比如獨(dú)立，條件獨(dú)立，聯(lián)合分布的分解，以及圖模型的plane representation。

高級(jí)的讀者們需要去搞定的是基于LDA的推理算法。因?yàn)長DA是一個(gè)Bayesian Model，所以整個(gè)推理的中心就是計(jì)算感興趣的變量的后驗(yàn)分布posterior probability。為了這個(gè)目標(biāo)，可以采用sampling based method，比如Gibbs sampling；也可以首先把問題轉(zhuǎn)化為一個(gè)優(yōu)化問題，然后用Variational EM的方法迭代求解。市面上兩種方法都有很多實(shí)現(xiàn)，可能有自己不同的應(yīng)用場(chǎng)景，也不好說哪種方法更優(yōu)。

Figure 2 文本分布圖

利用LDA我們對(duì)于EMC 2011 Innovation Showcase的數(shù)據(jù)進(jìn)行了分析，上圖顯示的是從中發(fā)現(xiàn)的25個(gè)主題。每個(gè)bar的高度對(duì)應(yīng)屬于這個(gè)主題的文章個(gè)數(shù)。對(duì)于每個(gè)主題我們可以逐一顯示屬于它的那些文章，并且也可以顯示“Word Scoring”，即在主題中每個(gè)詞的重要性。由于篇幅關(guān)系，我們這兒只關(guān)注一些特別的主題。

顯然，在所有主題中，Topic22享有最高的權(quán)重。為了理解Topic 22的含義，我們看一下此主題中的重要詞匯。

我們把如圖所示的結(jié)果展示給熟悉公司的領(lǐng)域?qū)＜遥玫降幕卮鹗荰opic22應(yīng)該是關(guān)于Employee Engagement，Productivity and Benefits 。換句話說，在這次創(chuàng)新活動(dòng)中，有相當(dāng)數(shù)量的點(diǎn)子是針對(duì)員工與公司的關(guān)系的。很有意思的發(fā)現(xiàn)!

EMC是一個(gè)High-Tech公司，理所當(dāng)然的我們有更多的技術(shù)性的創(chuàng)新。通過對(duì)于其他主題的分析，我們找到了關(guān)于存儲(chǔ)的主題，關(guān)于云計(jì)算的主題，關(guān)于大數(shù)據(jù)的主題等等。主題分析對(duì)于理解這些創(chuàng)新點(diǎn)子的隱含結(jié)構(gòu)信息有很大的幫助。

3.尋找主題的趨勢(shì)和演化規(guī)律

很幸運(yùn)，EMC把員工的Idea當(dāng)成公司的財(cái)富保留了下來，即使是去年，前年以及更久遠(yuǎn)的數(shù)據(jù)；更幸運(yùn)的，我們拿到了這批數(shù)據(jù)，從而可以主題的趨勢(shì)分析。下面我們就舉例分析這幾年EMCer在創(chuàng)新中所關(guān)注的主題的趨勢(shì)。

Figure 3 三年來的主題趨勢(shì)

通過在2011年的LDA模型上對(duì)于2009,2010,2011數(shù)據(jù)進(jìn)行推理，我們得到了入上圖所示的所有25個(gè)主題在這三年里受關(guān)注的變化。根據(jù)這個(gè)圖以及前一節(jié)所進(jìn)行的主題詮釋，我們就可以回答諸如“近些年EMCer是如何看待cloud或者big data的?”這類問題。比如，topic22代表的employ engagement主題在2011年達(dá)到一個(gè)峰值；topic4代表的big data有一個(gè)穩(wěn)步的增長；而topic9代表的cloud基本保持平穩(wěn)。

主題的演化講的是同一個(gè)主題的內(nèi)容隨著時(shí)間變化而變化的規(guī)律。比如說，我們看到在這三年里，每年都有將近60篇的Idea是關(guān)于cloud云計(jì)算的。我們可以通過這些文章的常用詞理解關(guān)于云計(jì)算創(chuàng)新的演化。

通過上圖我們看到，EMCer的想法和公司的戰(zhàn)略以及主流的云計(jì)算趨勢(shì)是非常吻合的：在09年EMCer對(duì)云計(jì)算的認(rèn)識(shí)還停留在系統(tǒng)主機(jī)的基礎(chǔ)上，到了10年大家開始討論虛擬化以及私有云的技術(shù)，而在去年的重點(diǎn)則轉(zhuǎn)變?yōu)榘接性坪凸性频幕旌显萍夹g(shù)。

再以big data大數(shù)據(jù)主題topic4為例：

在前兩年，大數(shù)據(jù)分析在EMC還只是關(guān)于一般數(shù)據(jù)庫的查詢和分析。2010年收購了Greenplum之后，我們看到，不僅更多的人討論數(shù)據(jù)分析，而且在2011年大家開始關(guān)注大數(shù)據(jù)，Greenplum，和實(shí)時(shí)的分析。

4.結(jié)語

從2007年開始的5年間，EMC總共有6000多位員工參與了每年的Innovation Showcase活動(dòng)。在這個(gè)分析中，Big Data Lab的數(shù)據(jù)科學(xué)們積極的和熟悉公司業(yè)務(wù)運(yùn)作的F/D Engineer們協(xié)同工作，通過分析這些Idea來刻畫EMC的創(chuàng)新生態(tài)系統(tǒng)。使大家對(duì)于EMCer的創(chuàng)新結(jié)構(gòu)有了一定的了解。

通過這樣的分析我們獲得了重要的actionable insights來幫助提高公司創(chuàng)意文化。具體的actions包括對(duì)于新興趨勢(shì)進(jìn)行引導(dǎo)和加強(qiáng)，組織針對(duì)某個(gè)主題的special interest group等等。只有通過這些后續(xù)的動(dòng)作，才能真正讓數(shù)據(jù)分析的結(jié)果發(fā)光發(fā)熱，給公司增值。