用人工智能讀懂大數(shù)據(jù)_數(shù)據(jù)分析師考試

關于大數(shù)據(jù)，現(xiàn)在有兩個概念，一個是數(shù)據(jù)大，另一個就是容量大?！按蟆贝_實是一個問題，隨之而來的大數(shù)據(jù)處理問題也是一個老問題。之所以說這是個老問題就在于，之前在氣象數(shù)據(jù)的處理里，有各種不同的圖象、文本，動態(tài)情況帶來的變化也很多，導致我們也遇到很大的數(shù)據(jù)量。因此數(shù)據(jù)大并不是網(wǎng)絡時代才有的問題，只是現(xiàn)在更加嚴重。

網(wǎng)絡數(shù)據(jù)面臨的根本困難

網(wǎng)絡數(shù)據(jù)跟以往數(shù)據(jù)的不同在于網(wǎng)絡時代的數(shù)據(jù)雖然量很多，但是有用的不到30%、40%，好用的更不多，只有7%，經(jīng)過“清洗”的不到1%。這和我們以往的數(shù)據(jù)大不一樣，氣象數(shù)據(jù)盡管有噪聲問題，但是從來沒有數(shù)據(jù)虛假、無用、造謠的，但是在網(wǎng)絡里就不一樣了。

此外，網(wǎng)絡數(shù)據(jù)跟用戶和社會關聯(lián)，也就是說這種數(shù)據(jù)是在社會間產(chǎn)生，在人與人之間不斷傳播，因此它所造成的影響和效果是跟以往的數(shù)據(jù)不一樣的。

以往，我們比較多的是從形式、規(guī)模這些維度來考慮大數(shù)據(jù)，在形式上它很復雜，規(guī)模上它數(shù)量很大，但網(wǎng)絡數(shù)據(jù)還將涉及更多我們之前沒有涉及的維度，如語義的維度、內(nèi)容的維度。

首先是人機交互的變化。通常我們在用計算機的時候只是把程序輸入進去，計算機根據(jù)程序來完成計算，然后把結(jié)果輸出給用戶，這中間計算機不需要了解用戶的意圖或數(shù)據(jù)的來源。因為所有的數(shù)據(jù)有在計算機存在的語音和語義，但計算機并沒有理解這些內(nèi)容。到了網(wǎng)絡時代，人機界面起到非常大的變化。也就是說人們把自己的需求用文本、圖象、語音輸入到計算機里，計算機必須得通過這些了解用戶意圖，然后根據(jù)用戶意圖輸出用戶需要的信息，在此信息的內(nèi)容已經(jīng)需要計算機考慮了。

在網(wǎng)絡時代計算機必須要涉及到信息的內(nèi)容，這意味著計算機不僅需要了解用戶意圖，同時要了解用戶的興趣等，這是語義的維度。

如果要了解網(wǎng)絡計算機新的需求以及了解用戶意圖、興趣和體驗等，我們要做到兩點。首先就是把沒用上的或者“不好”的數(shù)據(jù)轉(zhuǎn)變成知識，或者我們通過理解這些數(shù)據(jù)的內(nèi)容、信息的內(nèi)容，把它們變成網(wǎng)絡時代信息處理的新需求。其次，如果計算機要從文本、圖象、語音去理解用戶的意圖，那這個理解必須涉及三個層面的問題。第一個方面，計算機得了解某句話的字面意思，即自然語義；第二個方面，用戶輸入這句話的用意何在，潛意識里想要做什么；第三個方面，這句話的真實含義是什么，判斷用戶是否贊同此說法等。因此我們提供一條網(wǎng)絡信息，計算機至少需要了解這三層意思。但過去計算機信息處理里沒有此要求，這就是我們現(xiàn)在傳統(tǒng)信息面臨的最根本的挑戰(zhàn)。

用人工智能處理網(wǎng)絡數(shù)據(jù)

傳統(tǒng)的信息處理方法顯然是能不能解決上述問題的，原因在于我們所有的信息處理方法是建立在與語義無關的假設上，不管是通信理論、控制理論或者信息處理理論都是跟語義無關的，也就是說在傳統(tǒng)理論里必須把信息內(nèi)容抽掉，這就是所有信息理論建立的依據(jù)，因為不采取這樣的方法就不能建立一般的內(nèi)容。

到了網(wǎng)絡時代傳統(tǒng)的方法遇到困難了，當我們輸入信息X送到機器上，閱讀者或者接收者者接受信息X，中間都沒有誤差，但我們接下來從機器那里我們能不能了解到X背后的含義呢？顯然傳統(tǒng)的剝離信息內(nèi)容的處理方法解決不了這個問題。

但我們現(xiàn)在還是在采用傳統(tǒng)方法進行網(wǎng)絡上的信息處理。具體是把X映射到詞空間，或者圖象的特征里，然后試圖找到這個特征到語義的映射。那么特征空間到語義空間是否存在一對一的映射？如果存在，如何去找？我們現(xiàn)在把圖象、文本、語音統(tǒng)稱為數(shù)據(jù)，到計算機里它們都表現(xiàn)為0和1、1和0，我們要從這些0和1、1和0里找出來具體的0和1是哪個概念，它背后是什么，并要找到這個映射?，F(xiàn)實中，我們不能準確把0和1、1和0進行準確的歸類，這個一般情況映射是不存在的。也就是說從底層的數(shù)據(jù)時代詞的組合，從顏色、紋理、視頻等，我們沒法找到其文本的含義，去識別這個圖象代表什么，或者識別語音，因為距離太遠。

但是有幸的是這種映射在特定數(shù)據(jù)處理之下，通過使用合理的方法這個映射是存在的，也就是說它只在特定的條件下用特定的方法才存在。我們現(xiàn)在在做的文本機器翻譯、圖象識別、語音識別都是在這個前提下實現(xiàn)的。所以我們每當看到人家輸出各種結(jié)果時，首先想到的是在什么樣的數(shù)據(jù)庫下做出來的。我們現(xiàn)在常聽到的機器學習、深度學習就是用這個方法進行訓練，再獨立開，進而對沒有見過的數(shù)據(jù)進行分類。

現(xiàn)在很多圖象識別做得比較好，原因在于其圖象庫的圖片以及所給的圖片是規(guī)格化的、對齊的，而且是正面人臉，保證了其相對高的識別率，這也是在特定條件下可以做得非常好的效果。而如果我們圖象沒有規(guī)格化，大小不一，不僅有正面圖象還有側(cè)面圖象，或者有一定角度的圖象，這樣識別率就會變低。

目前計算機做的人臉識別都是上面提到的必須在一定的圖片下面進行比較，方法無論好壞，大家都必須在同樣的數(shù)據(jù)庫下做實驗。這也是我們傳統(tǒng)的信息處理方法。

多層神經(jīng)網(wǎng)絡并非完美

人工智能試圖直接去處理語義，這也是人工智能的一個重大試探。這個試探的結(jié)果是基于語義觀察學這一假設。而人工智能認為人腦和計算機都是物理符號系統(tǒng)，我們就有可能用計算機來模擬人腦功能。這一假說是人工智能領域幾個創(chuàng)始人提出來的主張，早期的人工智能也是在這個主張下開展的。

雖然這個主張也有人提出了反對意見（不能把人腦的所有的過程都看成是符號處理），但我們確實在實踐上取得了很多進展。這就是在計算機應用的所謂符號模型，但是這個模型有它的局限性。

這個模型可以模擬深思熟慮的行為，還可以用來做問題的處理、診斷和決策。

當我們把決策和診斷過程用符號系統(tǒng)處理，會有成功也有不成功的，最主要的成功就是用這套方法來做模式識別，但是在感知和語音識別方面行不通。后來便提出了多層神經(jīng)網(wǎng)絡，現(xiàn)在多層神經(jīng)網(wǎng)絡多指深度學習。也就是說我們固然可以用知識推動的方法來解決人類深思熟慮的行為，像推理、診斷、規(guī)劃等，但是這類方法很難用到感知處理上，而感知處理用多層神經(jīng)網(wǎng)絡來做，語音、圖象的識別率比傳統(tǒng)的方法提高了兩位數(shù)的百分點，這是非常了不起的。

但是這個方法也不是完美的，并不能完全解決問題。概率統(tǒng)計方法存在局限性，多層神經(jīng)網(wǎng)絡也不是完美的，不能簡單地以為深度學習已經(jīng)完全可以超過人類的水平，這只是在一定的條件和環(huán)境下。

未來的大方向是把傳統(tǒng)信息處理和人工智能結(jié)合起來，傳統(tǒng)信息處理是概率統(tǒng)計的方法，是數(shù)據(jù)驅(qū)動的方法，要解決大數(shù)據(jù)處理的問題以及語義問題，就要做到“數(shù)據(jù)驅(qū)動+知識驅(qū)動”。