機(jī)器學(xué)習(xí)和大數(shù)據(jù)：是先有雞還是先有蛋？

“對于機(jī)器學(xué)習(xí)，需要大量容易獲得的歷史數(shù)據(jù)。但是，如果你沒有這個(gè)數(shù)據(jù)會怎樣？”

現(xiàn)在，機(jī)器學(xué)習(xí)幾乎無處不在，它經(jīng)常出現(xiàn)在大數(shù)據(jù)應(yīng)用之中。機(jī)器學(xué)習(xí)已經(jīng)被贊譽(yù)為大數(shù)據(jù)分析和商務(wù)智能發(fā)展的未來。但是從機(jī)器學(xué)習(xí)中提取價(jià)值并不僅僅是在一個(gè)新的工具中添加一個(gè)插件，或查看一下工作效率和銷量的提高。

成功的機(jī)器學(xué)習(xí)項(xiàng)目依賴于很多因素，包括選擇正確的主題，對于運(yùn)行的環(huán)境，合理的機(jī)器學(xué)習(xí)模型，當(dāng)然最重要的是現(xiàn)有的數(shù)據(jù)。

大數(shù)據(jù)時(shí)代，數(shù)據(jù)就是財(cái)富。我們不得不承認(rèn)，關(guān)于客戶交易、銷售或設(shè)備運(yùn)行日志的數(shù)據(jù)是企業(yè)所擁有的最寶貴的資產(chǎn)之一。特別是機(jī)器學(xué)習(xí)現(xiàn)在為企業(yè)提供的機(jī)會遠(yuǎn)遠(yuǎn)超越傳統(tǒng)的商業(yè)智能，比如可以幫助預(yù)測未來的銷售或潛在的設(shè)備故障，從而提高利潤和減少臨時(shí)的維修。

　數(shù)據(jù)，大還是小

在談?wù)摗按髷?shù)據(jù)”時(shí)，我們習(xí)慣于假設(shè)越多越好。雖然現(xiàn)實(shí)中常常的確也是這樣，數(shù)據(jù)對于實(shí)時(shí)在線個(gè)性化應(yīng)用是很關(guān)鍵的，但不同的任務(wù)對于數(shù)據(jù)大小的需求卻不盡相同。

對于機(jī)器學(xué)習(xí)任務(wù)來說，為了帶來價(jià)值，雖然10Gb的日志似乎有些少，但有時(shí)其實(shí)也可以剛好夠用，具體要看面對什么樣的任務(wù)。10Gb的數(shù)據(jù)對于Google來說也許微不足道，但實(shí)際上足以給一個(gè)傳統(tǒng)的線下企業(yè)帶來一個(gè)巨大的變化。

一個(gè)擁有75000人的大公司的人力資源管理部門。如果公司試圖預(yù)測流動風(fēng)險(xiǎn)，以便更好地規(guī)劃未來的人力資源戰(zhàn)略，并及時(shí)采取預(yù)防措施，那么他們就可以使用機(jī)器學(xué)習(xí)，而機(jī)器學(xué)習(xí)就可以從分析員工記錄開始。這些記錄每天都有巨大的不同，反映在工作的時(shí)間，角色的轉(zhuǎn)變，通過的培訓(xùn)課程，休病假的天數(shù)，等等。雖然這種數(shù)據(jù)量可能被認(rèn)為是過少，則深度地挖掘各種要素需要它超越簡單的統(tǒng)計(jì)，走向機(jī)器學(xué)習(xí)。

在另一個(gè)極端，有些公司可能認(rèn)為他們擁大量的珍貴數(shù)據(jù)，如很多年的銷售報(bào)告，可以后來才發(fā)現(xiàn)，它們只可作為集成數(shù)據(jù)，而沒有存儲原始輸入。機(jī)器學(xué)習(xí)需要從細(xì)節(jié)中學(xué)習(xí)，僅僅擁有每季度或每年的集成數(shù)據(jù)對任務(wù)來說根本不夠。

因此需要數(shù)據(jù)的多少關(guān)鍵在于用戶所面對的具體任務(wù)。

　歷史的經(jīng)驗(yàn)教訓(xùn)

通常數(shù)據(jù)集擁有一個(gè)時(shí)間跨度，而這個(gè)時(shí)間跨度是非常重要的，它應(yīng)該足夠的長，以反映所有相關(guān)的事件以及周期性的變化。例如，如果一個(gè)組織要建立一個(gè)工作模型來預(yù)測一個(gè)零售公司的產(chǎn)品需求，這將至少需要兩到三年的歷史數(shù)據(jù)，這樣才能容納季節(jié)性的趨勢。但是，如果要預(yù)測昂貴的制造設(shè)備幾年才可能出現(xiàn)一次的故障，就需要有一個(gè)遠(yuǎn)遠(yuǎn)長的多的歷史數(shù)據(jù)，以便在故障出現(xiàn)之前檢測異常情況并預(yù)測故障的發(fā)生。

同時(shí)，如果你帶著巨大的客戶基礎(chǔ)和認(rèn)購商業(yè)模型進(jìn)入一個(gè)領(lǐng)域，例如移動電話網(wǎng)絡(luò)、流媒體業(yè)務(wù)或在線游戲，利用短短六個(gè)月的數(shù)據(jù)開始一個(gè)有意義的機(jī)器學(xué)習(xí)項(xiàng)目（例如，預(yù)測客戶的流失）是完全可行的。

通常情況下，數(shù)據(jù)的組織和存儲是一個(gè)公司基礎(chǔ)架構(gòu)部門的關(guān)鍵任務(wù)，關(guān)系到公司的核心利益，如何選擇合適的存儲方案呢？是充斥著差異和錯(cuò)誤的非結(jié)構(gòu)化存儲，還是未集成的十幾個(gè)獨(dú)立系統(tǒng)。雖然引進(jìn)數(shù)個(gè)單獨(dú)的存儲庫是擺脫數(shù)據(jù)孤島、提高數(shù)據(jù)質(zhì)量的一種有效方式，但這個(gè)過程是漫長的，非常昂貴，而且不會帶來直接的價(jià)值。但是，如果引入機(jī)器學(xué)習(xí)，利用非結(jié)構(gòu)化存儲依然可以幫助調(diào)整進(jìn)一步的基礎(chǔ)設(shè)施投資以及引導(dǎo)數(shù)據(jù)收集策略，非結(jié)構(gòu)化存儲目前是一種非常有效的數(shù)據(jù)組織和存儲方式。

數(shù)據(jù)還可以來自于其他什么地方？

很多企業(yè)忽略了一件很重要的事情，就是企業(yè)可以從外部環(huán)境中購買數(shù)據(jù)。

一方面，最強(qiáng)大和最重要的信號通常隱藏在該公司所擁有的數(shù)據(jù)中。因此，相比于銀行客戶的社交媒體行為，他們的交易中所蘊(yùn)含的知識可以更好地預(yù)測客戶是否將償還貸款。

另一方面，許多公司低估了外部因素的價(jià)值，如氣候數(shù)據(jù)。它會對很多情況產(chǎn)生影響，如冰淇淋的需求，在需求不太明確的情況下，可以通過個(gè)性化推薦，將冰淇淋推薦給那些在天氣差時(shí)更可能留在家里玩游戲的網(wǎng)絡(luò)游戲玩家。

因此企業(yè)除了利用自己的數(shù)據(jù)之外，還可以有很多的選擇，例如社交網(wǎng)絡(luò)平臺，可以利用用戶的在社交網(wǎng)絡(luò)的足跡預(yù)測用戶的偏好，又或者季節(jié)性數(shù)據(jù)，利用季節(jié)性變化預(yù)測用戶的未來行為，等等。

機(jī)器學(xué)習(xí)正在很快地從一個(gè)很少人關(guān)注的技術(shù)主題轉(zhuǎn)變?yōu)楸缓芏嗳耸褂玫墓芾砉ぞ摺榱吮苊忮e(cuò)失良機(jī)，企業(yè)現(xiàn)在需要開始設(shè)計(jì)自己的機(jī)器學(xué)習(xí)項(xiàng)目，以幫助他們?yōu)槲磥淼?a href='/map/jiqixuexi/' style='color:#000;font-size:inherit;'>機(jī)器學(xué)習(xí)做好準(zhǔn)備。同時(shí)，企業(yè)需要理解哪些數(shù)據(jù)是可獲得的，缺少的和需要的，現(xiàn)在就可以開始收集它們，以幫助他們更快地獲得投資回報(bào)。