隨著技術的發(fā)展和進步,數(shù)據(jù)量呈指數(shù)級增長,這并不令人意外。如果說人們在2005年還可以勉強處理0.1ZB的數(shù)據(jù)的話,那么如今這個數(shù)字已超過了20ZB,甚至到2020年的數(shù)據(jù)量將達到47ZB。除了數(shù)量龐大之外,數(shù)據(jù)面臨的問題還在于其大部分是非結構化的數(shù)據(jù),而這些不完整或不準確的數(shù)據(jù)對于蓬勃發(fā)展的人工智能和人類來說沒有任何好處。

人們?nèi)缃裰荒芴幚?0%的結構化數(shù)據(jù),而剩下的都是大量未被標記的信息,機器不能以建設性的方式使用。例如,電子郵件就是非結構化的數(shù)據(jù),而電子表格等內(nèi)容被認為是被標記的結構化數(shù)據(jù),并且可以被機器成功掃描。

這看起來似乎并不成問題,但如果人們期望人工智能可以更好地應用在醫(yī)療保健,無人駕駛汽車,家庭生活等行業(yè)領域,這就需要擁有整潔有序的數(shù)據(jù)。具有諷刺意味的是,人們已經(jīng)非常擅長創(chuàng)建內(nèi)容和數(shù)據(jù),但還沒有找到一種方法來準確地利用數(shù)據(jù)來滿足人們的需求。

數(shù)據(jù)科學家也在不斷努力

數(shù)據(jù)科學是過去幾年積累了大量數(shù)據(jù)的領域之一,越來越多的數(shù)據(jù)科學家致力于解決這一混亂問題,這是很自然的。然而,最近的一項調(diào)查顯示,與人們的觀點相反,數(shù)據(jù)科學家花費在構建算法和挖掘數(shù)據(jù)模式上的時間少了很多,而是在開展所謂的數(shù)字清理工作,也就是清理和組織數(shù)據(jù)。正如人們所看到的,這些數(shù)據(jù)肯定不利于有著光明未來的人工智能發(fā)展和應用。

人們在預測人工智能的發(fā)展時顯然沒有考慮到這樣一個事實,即雖然機器可以成功替代為模式挖掘數(shù)據(jù)的少數(shù)一些數(shù)據(jù)科學家,但他們可能無法取代絕大多數(shù)致力于研究數(shù)據(jù)的科學家,而他們大部分時間都在收集、清理和組織這些數(shù)據(jù)。當然,最好從一開始就以更加整體的方式收集數(shù)據(jù),而不是分配太多時間和資源來追溯和修復這些數(shù)據(jù)。幸運的是,人工智能領域的領導者已慢慢地達成了這種共識,利用他們的技能和影響力,改變了數(shù)據(jù)科學的走向,并將其與人工智能聯(lián)系起來。

人工智能目前還不能趕超人類

人們都聽說過人工智在某些方面超越人類的報道,例如世界水平最高的圍棋大師被谷歌的AlphaGo人工智能擊敗。然而,這只能說明人工智能可以在小眾的任務中取得驚人的成果,但其總體能力仍然與人類的能力無法匹敵。人工智能根本無法處理很多微妙的、具有邏輯的步驟和措施。

在處理財務申報和法律法規(guī)方面,人工智能的局限性更加明顯。其遇到的問題與其他地方一樣。只要人工智能機器沒有提供結構化數(shù)據(jù),如標準化合同,人工智能就會感到非常困惑。這意味著目前還需要數(shù)據(jù)科學家來解決這個問題。

團隊工作讓人工智能更為有效

高素質(zhì)的數(shù)據(jù)分析師的聘用成本很高,這使得這一領域的進步更加困難。關鍵是要通過采用可簡化流程的技術進行收集和建模。

另一個關鍵方面是多個部門需要共同努力解決大數(shù)據(jù)所帶來的問題。財務和技術專家需要攜手合作,從一開始就正確識別他們收集的數(shù)據(jù)的潛在缺陷。這些專家解決問題的方式也應該進行注冊,以便通過機器成功復制。其目標是創(chuàng)建質(zhì)量保證算法,以確定過去與錯誤相關的模擬結果。人們能夠創(chuàng)建的模型越多,數(shù)據(jù)錯誤和違規(guī)的空間就越小。

沒有大數(shù)據(jù),人工智能無法生存

無論人工智能的發(fā)展方向是什么,也許為人類帶來更多的好處或壞處,但有一點是肯定的:人工智能如果沒有大數(shù)據(jù),終將一事無成。人們已經(jīng)從日常生活中得到了很多例子,這些例子很可能認為是理所當然的,這證明了人工智能存在的必要性。以Cortana或Siri為例,他們能夠理解人們提出的問題和疑問,只是因為他們獲得了無窮無盡的信息,幫助它們理解人們的自然語言。谷歌搜索引擎似乎已經(jīng)成為無所不知的力量,對每個人都非常了解,這是因為人們在其搜索引擎上每天都有大量的日志。為此,企業(yè)也能夠做出準確的報告,例如那些可以使用相關工具識別網(wǎng)站的報告,這歸功于數(shù)據(jù)最初收集的整潔性。

由于人工智能與大數(shù)據(jù)密切相關,因此只有通過清晰的結構化數(shù)據(jù)才能更好地處理這些,從而改善人們的生活。幸運的是,人們正在逐漸了解人工智能發(fā)展背后的需求。這就是為什么人們看到數(shù)據(jù)科學家的工作方式在資金、工資、工具和設備方面有所改進的原因。

這種意識正在全球范圍內(nèi)逐漸普及,使企業(yè)和專家能夠相互合作,以便更有效地收集數(shù)據(jù),建立可進一步幫助機器清潔和構造數(shù)據(jù)的模型,并為未來的發(fā)展奠定基礎。了解人工智能和大數(shù)據(jù)的問題出在哪里,意味著其問題已經(jīng)解決了一半。