機(jī)器學(xué)習(xí)-大數(shù)據(jù)的關(guān)鍵_數(shù)據(jù)分析師

Splunk的用戶大會(huì)已經(jīng)接近尾聲。三天時(shí)間的會(huì)議里，共進(jìn)行了160多個(gè)主題研討，涵蓋了從安全、運(yùn)營到商業(yè)智能，甚至包括物聯(lián)網(wǎng)，會(huì)議中一遍又一遍出現(xiàn)相同的中心主題：大數(shù)據(jù)的關(guān)鍵是機(jī)器學(xué)習(xí)。
 
存儲(chǔ)不再是一個(gè)問題。從運(yùn)行Hadoop兼容節(jié)點(diǎn)的專用存儲(chǔ)硬件，到數(shù)百臺(tái)使用普通硬盤的計(jì)算機(jī)組成的集群，毫無疑問，我們具備了處理這類存儲(chǔ)問題的能力。另一方面，像Splunk這樣的分析和可視化工具也應(yīng)運(yùn)而生。如果你知道你要找什么，這些工具可以很快給你所需要的答案。
 
但是，你應(yīng)該找什么呢?對(duì)于絕大多數(shù)的基層供應(yīng)商來說，問題的答案就在機(jī)器學(xué)習(xí)里面。無論你是在談?wù)摼W(wǎng)絡(luò)流量、用戶行為，或者是消費(fèi)趨勢，這都不要緊，你能真正洞察你所監(jiān)控的東西的方式是找到數(shù)據(jù)中的模式和相關(guān)性。雖然人類操作員可以通過試錯(cuò)法蹣跚而行，但他們相信，可以通過訓(xùn)練計(jì)算機(jī)來得到結(jié)果，并且速度更快和不帶偏見。
 
當(dāng)然，這并不是說人類已經(jīng)過時(shí)。必須有人來確認(rèn)相關(guān)性不只是種巧合，并找出對(duì)信息采取行動(dòng)的方法。而這也正是前面所提到的可視化工具可以發(fā)揮作用的地方。
 
大數(shù)據(jù)和機(jī)器學(xué)習(xí)的主要用例
 
雖然大數(shù)據(jù)的潛力幾乎是無限的，但不可避免的是一或兩個(gè)行業(yè)會(huì)在前面帶頭沖鋒。如果再過一年問我，我可能會(huì)說不同的話，但現(xiàn)在的預(yù)測是，無論是安全還是運(yùn)營，都會(huì)處在第一線。
 
只要比那些只收現(xiàn)金的咖啡亭大的公司，都需要考慮信息的安全性。即使他們沒有知識(shí)產(chǎn)權(quán)可言，但他們都在處理一些敏感信息，如信用卡號(hào)碼。有方法可以可靠地檢測和阻止那些正在發(fā)生的違約行為，對(duì)公司的長期成功是至關(guān)重要的?；?a href='/map/jiqixuexi/' style='color:#000;font-size:inherit;'>機(jī)器學(xué)習(xí)的安全產(chǎn)品承諾提供這種能力，并且它的易用性接近“交鑰匙工程的水準(zhǔn)。
 
與此類似，運(yùn)營分析將會(huì)流行起來?，F(xiàn)在你就可以買到工具來監(jiān)視你的網(wǎng)絡(luò)，解碼數(shù)據(jù)包，或向你精確呈現(xiàn)一個(gè)給定的REST調(diào)用是如何經(jīng)過服務(wù)器的中間層一路到達(dá)數(shù)據(jù)庫或文件系統(tǒng)的，然后把它和一周，一個(gè)月或一年以前的行為做對(duì)比。這不是未來的概念，而是今天現(xiàn)成的東西，并可以在一周內(nèi)運(yùn)行起來。
 
其它領(lǐng)域的研究將會(huì)繼續(xù)下去，但不會(huì)有如此快的速度。欺詐檢測是非常重要的，但大多數(shù)公司會(huì)依靠他們的金融機(jī)構(gòu)來設(shè)計(jì)和實(shí)施必要的控制措施。我預(yù)計(jì)在這方面不會(huì)有太多商業(yè)化的、現(xiàn)成的產(chǎn)品。
 
商業(yè)智能是另一個(gè)會(huì)看到大量金錢投入的研究領(lǐng)域。但可口可樂與百事可樂公司用來確定下一個(gè)流行口味的算法，看起來一點(diǎn)也不像通用和福特公司用來預(yù)測每種尺寸的車型會(huì)有多少量的算法。如此類推，商業(yè)化產(chǎn)品對(duì)大數(shù)據(jù)的運(yùn)用目前可能會(huì)主要局限于基本的分析和可視化方面。
 
其他的會(huì)議思考
 
總而言之，Splunk舉辦了一次非常好的會(huì)議。一切都組織得很好，每個(gè)人，從初學(xué)者到最高級(jí)的數(shù)據(jù)挖掘工程師，都會(huì)有相關(guān)的議題研討。我唯一的抱怨是，議題研討沒有記錄。因?yàn)橛羞@么多的內(nèi)容，人們勢必會(huì)因?yàn)闆_突錯(cuò)過一兩個(gè)重要的議題。
 
即使你對(duì)Splunk本身不感興趣，但對(duì)大數(shù)據(jù)、機(jī)器學(xué)習(xí)以及相關(guān)主題感興趣的任何人來說，這都是一次重要的會(huì)議。