扒一扒真實(shí)的大數(shù)據(jù)行業(yè)

大數(shù)據(jù)是近年來方興未艾的行業(yè)，也是企業(yè)服務(wù)的一個(gè)重要門類，在上一期的文章中做了簡(jiǎn)單的羅列和介紹。在今天的文章中，水鏡先生結(jié)合自己的專業(yè)知識(shí)，為大家扒一扒真實(shí)的大數(shù)據(jù)行業(yè)。

【大道至簡(jiǎn)】

首先要說一個(gè)簡(jiǎn)單的道理：所有能產(chǎn)生巨大功效的方法都是簡(jiǎn)單的。

現(xiàn)在“大數(shù)據(jù)”似乎變成了忽悠代名詞，主要是被不懂的人用的太多、太濫。這些不懂的人，往往會(huì)向你“噴射”大量的名詞術(shù)語，讓你“不明覺厲”，覺得大數(shù)據(jù)是一個(gè)特別深?yuàn)W、特別“黑科技”的領(lǐng)域，做大數(shù)據(jù)的公司是特別牛、特別高大上的公司。

其實(shí)不然。

這里舉一個(gè)例子，大家都看過電視劇《暗算》吧，里面的《看風(fēng)》一篇有一套“光復(fù)一號(hào)”密碼，無數(shù)人為之傾倒，簡(jiǎn)直是不可解的。后來數(shù)學(xué)家黃依依到來之后，終于找到了其中的秘密。根據(jù)筆者的數(shù)學(xué)知識(shí)，這里的算法應(yīng)該就是目前應(yīng)用廣泛的RSA算法的某種形式或變體，這種算法的各種改良版本至今仍然服務(wù)于網(wǎng)上銀行等諸多需要高等級(jí)加密的領(lǐng)域。

聽上去，這套算法應(yīng)該很復(fù)雜吧？事實(shí)完全相反。這套算法所用的數(shù)學(xué)方法，一位初中一年級(jí)的同學(xué)（甚至數(shù)學(xué)較好的小學(xué)生）都能輕松理解，就是一個(gè)巨大數(shù)字的因式分解而已，而且只需要拆成兩項(xiàng)，即 C = A x B，在此基礎(chǔ)上做一些找素?cái)?shù)、求余數(shù)等簡(jiǎn)單處理。

【大數(shù)據(jù)行業(yè)有多簡(jiǎn)單】

大數(shù)據(jù)行業(yè)也是如此，真正強(qiáng)大的方法一定是簡(jiǎn)單的。總結(jié)來說，要做一家大數(shù)據(jù)行業(yè)的企業(yè)服務(wù)公司，只需掌握這么幾個(gè)流程就可以了：

1. 數(shù)據(jù)收集（爬蟲/接口/政府或機(jī)構(gòu)提供）

2. 數(shù)據(jù)清洗（留下想要的數(shù)據(jù)，或者/加上換換格式）

3. 數(shù)據(jù)建模（找到合適的模型或模型組合，加以合理的訓(xùn)練）

4. 數(shù)據(jù)報(bào)告（找到合適的應(yīng)用場(chǎng)景，做出有用的決策或結(jié)果）

那么這是不是需要一群數(shù)學(xué)牛人、甚至數(shù)學(xué)家來組建團(tuán)隊(duì)？非也。實(shí)際上，大數(shù)據(jù)業(yè)務(wù)大部分只用到高中的數(shù)學(xué)知識(shí)，建模的流程用到的一些基礎(chǔ)的高等數(shù)學(xué)（比如線性代數(shù)、概率統(tǒng)計(jì)）——而且，注意還有而且，大部分建模的代碼已經(jīng)有現(xiàn)成可用的開源庫(kù)了，像python之類的語言很容易直接調(diào)用。

【爬蟲工程其實(shí)很簡(jiǎn)單】

筆者看到有不少人在尋找爬數(shù)據(jù)的高手，不少爬蟲工程的需求出了很高的價(jià)錢。其實(shí)爬蟲這個(gè)工程本質(zhì)上是非常非常簡(jiǎn)單的，連小學(xué)生都能聽懂。

簡(jiǎn)而言之，爬蟲就是快速讀取網(wǎng)頁里的信息，按規(guī)定的格式存下讀出來的數(shù)據(jù)。舉個(gè)例子，你需要天貓上所有“手工手鐲”的自有品牌名稱，只需要去讀取天貓的搜索結(jié)果頁面，找出這些商品名稱詳情頁面上“品牌”這一屬性的文字即可。

當(dāng)然，如果你需要高速讀取、信息快速反饋的爬蟲，那就要用到分布式、生產(chǎn)-消費(fèi)模型（其實(shí)就是分配任務(wù)的模型），以及一些破解反爬蟲的技巧（如用更多的代理服務(wù)器IP反抗IP封鎖）。但是本質(zhì)上，這一部分絕對(duì)不是一門“黑科技”。

【請(qǐng)不要叫我數(shù)據(jù)清洗】

大家被各種“大數(shù)據(jù)公司”洗腦洗多了，整天聽到“數(shù)據(jù)清洗”四個(gè)字，感覺特別高大上，自己肯定不懂。其實(shí)數(shù)據(jù)清洗絕對(duì)不是什么“高大上”的技術(shù)，它基本上就是在做兩件事：

1. 去除重復(fù)

2. 去除不合要求的數(shù)據(jù)

第1點(diǎn)非常好理解，很多數(shù)據(jù)提供商號(hào)稱自己有幾億數(shù)據(jù)，其實(shí)重復(fù)率很高。不重復(fù)的數(shù)據(jù)才有利用的價(jià)值，用在各種計(jì)算的時(shí)候才不會(huì)有太大的干擾。

至于第2點(diǎn)，常見的情況是數(shù)據(jù)項(xiàng)缺失很多的數(shù)據(jù)。比如一份報(bào)名表，里面20個(gè)欄目，只填了5個(gè)以下的數(shù)據(jù)就幾乎沒有價(jià)值，應(yīng)該被去掉。

當(dāng)然這兩點(diǎn)要做好也是不容易的，比如去重的時(shí)候要考慮相似的重復(fù)（科技有限公司誤寫成技術(shù)有限公司等）；而數(shù)據(jù)的失效有些也是“木桶式”的，某一項(xiàng)數(shù)據(jù)缺失就會(huì)導(dǎo)致數(shù)據(jù)失去價(jià)值，等等。

【數(shù)據(jù)建模高中生就能玩】

這個(gè)確實(shí)是大家公認(rèn)大數(shù)據(jù)行業(yè)“最為高大上”的部分，其實(shí)也不盡然，筆者認(rèn)為有高中數(shù)學(xué)基礎(chǔ)的人很快就可以搞明白。

數(shù)據(jù)處理本質(zhì)上是為了兩種目的，一是預(yù)測(cè)未來的趨勢(shì)，二是分類。預(yù)測(cè)未來的模型其實(shí)往往相對(duì)簡(jiǎn)單，線性回歸我們?cè)诟咧芯蛯W(xué)習(xí)過，無非是構(gòu)造一個(gè)函數(shù)，使它的圖像線條盡可能符合描出的數(shù)據(jù)點(diǎn)。這里重點(diǎn)講講分類問題，也就是“聚類”，用在很多很多領(lǐng)域，比如聚合相關(guān)新聞、讓計(jì)算機(jī)理解語言、推薦商品等。

以簡(jiǎn)單的二維坐標(biāo)系來說，對(duì)于二元數(shù)據(jù)的問題，我們把數(shù)據(jù)描在坐標(biāo)圖上，分類就是找到一條線把這些數(shù)據(jù)點(diǎn)切開，可以是直線也可以是曲線。推廣一下，對(duì)于N維的情況，就是一個(gè)曲面把這些點(diǎn)切開。

接著講一點(diǎn)幾個(gè)基礎(chǔ)知識(shí)點(diǎn)：首先是馬可洛夫鏈。別看名字很高大上，其實(shí)就是一句話：為了把問題化簡(jiǎn)讓計(jì)算機(jī)能夠處理，我們認(rèn)為所有要輸入的數(shù)據(jù)狀態(tài)只與前一個(gè)數(shù)據(jù)有關(guān)。比如北京一周的氣溫，我們認(rèn)為今天的氣溫只與昨天的氣溫有關(guān)。接下來是貝葉斯模型，其實(shí)和馬可洛夫鏈差不多，只是更現(xiàn)實(shí)一些，今天的氣溫還可能與一周前的那天的氣溫有關(guān)。

于是，就有了我們現(xiàn)在經(jīng)常聽說的“神經(jīng)網(wǎng)絡(luò)模型”，實(shí)質(zhì)上也是貝葉斯模型，而且還進(jìn)一步簡(jiǎn)化一些，就是今天的氣溫與昨天的有關(guān)，而且設(shè)定一個(gè)函數(shù)（只能有一次二次變換，比如指數(shù)函數(shù)）做為關(guān)聯(lián)。在把N天的氣溫都用類似的方式連接起來，我們就有了一個(gè)“神經(jīng)網(wǎng)絡(luò)”！是不是挺簡(jiǎn)單的。

好了，“深度學(xué)習(xí)”最近辣耳朵了吧，其實(shí)它就是“多層神經(jīng)網(wǎng)絡(luò)”，也就是多個(gè)有輸入和輸出的神經(jīng)網(wǎng)絡(luò)模型組合起來，目前考慮計(jì)算能力，一般不會(huì)超過三層。

說了那么多，其實(shí)現(xiàn)在常見的模型python等數(shù)據(jù)處理見長(zhǎng)的語言都有現(xiàn)成的開源庫(kù)，直接調(diào)用吧！

【數(shù)據(jù)報(bào)告反而很重要】

數(shù)據(jù)報(bào)告看起來很沒技術(shù)含量，不就是解釋一下數(shù)據(jù)處理的結(jié)果么？其實(shí)不然，如果你想做一家成功的大數(shù)據(jù)企業(yè)服務(wù)公司，下面的事情其實(shí)非常重要：

1. 熟悉你的客戶的公司，至少要熟悉行業(yè)；

2. 找到具體的數(shù)據(jù)應(yīng)用場(chǎng)景，而且是簡(jiǎn)單、直接、有效的，比如我的數(shù)據(jù)能增加成單率；

3. 通過不斷的實(shí)驗(yàn)，檢驗(yàn)客戶使用數(shù)據(jù)決策的效果，及時(shí)調(diào)整。

有一種誤區(qū)，很多人以為“大數(shù)據(jù)”是搞研究，其實(shí)不然，大數(shù)據(jù)是赤裸裸的商業(yè)。對(duì)于一項(xiàng)好的商業(yè)來說，應(yīng)用場(chǎng)景非常重要，對(duì)客戶或行業(yè)熟悉也非常重要。哪怕你只是做了一個(gè)簡(jiǎn)單的權(quán)重公式，如果你對(duì)行業(yè)了解，對(duì)客戶了解，也能發(fā)揮很大的作用。

總之，希望有意在大數(shù)據(jù)方向企業(yè)服務(wù)領(lǐng)域創(chuàng)業(yè)的朋友，一定要記住本文開篇的話：“大道至簡(jiǎn)”，一定記住“有用才是硬道理”。