大數(shù)據(jù)的新算法:簡(jiǎn)化數(shù)據(jù)分類

如今，大數(shù)據(jù)時(shí)代悄然來(lái)臨。專家用“大數(shù)據(jù)”的表達(dá)描述大量信息，比如數(shù)十億人在計(jì)算機(jī)、智能手機(jī)以及其他電子設(shè)備上分享的照片、音頻、文本等數(shù)據(jù)。當(dāng)前這種模式為我們的未來(lái)展現(xiàn)了前所未有的愿景：比如追蹤流感疫情蔓延，實(shí)時(shí)監(jiān)控道路交通，處理緊急自然災(zāi)害等。對(duì)人們而言，想要利用這些龐大的數(shù)據(jù)，首先必須要了解它們，而在此之前我們需要一種快捷有效自動(dòng)的方式對(duì)數(shù)據(jù)進(jìn)行分類。

　　其中一種最為常用的系統(tǒng)，是一系列稱之為簇分析的統(tǒng)計(jì)技術(shù)，這種技術(shù)能依據(jù)數(shù)據(jù)的“相似性”進(jìn)行數(shù)據(jù)分組。來(lái)自意大利國(guó)際高等研究院(SISSA)的兩位研究者基于簡(jiǎn)單且強(qiáng)大的原理設(shè)計(jì)了一種簇分析方法，被證明可以非常有效地解決一些大數(shù)據(jù)分析中遇到的主要典型問(wèn)題。

　　數(shù)據(jù)集合可以視為多維空間的云數(shù)據(jù)點(diǎn)。這些點(diǎn)呈現(xiàn)不同分配方式：或稀疏地分布在一個(gè)區(qū)域，或密集地分布在另外一個(gè)區(qū)域。簇分析就是用來(lái)有效地鑒別密集型區(qū)域，基于基本的準(zhǔn)則將數(shù)據(jù)分為一定數(shù)量的重要子集合，每個(gè)子集合對(duì)應(yīng)一種分類。

　　“以一個(gè)面部圖像數(shù)據(jù)庫(kù)為例，”SISSA統(tǒng)計(jì)與生物物理系教授Alessandro Laio說(shuō)，“數(shù)據(jù)庫(kù)可能包含同一個(gè)人的多張照片，簇分析可以用來(lái)歸類同一人的所有照片。這種類型的分析可用自動(dòng)臉部識(shí)別系統(tǒng)來(lái)完成。”

　　“我們?cè)囍O(shè)計(jì)一種較現(xiàn)有方法更為有效的算法，來(lái)解決簇分析中典型的問(wèn)題。”Laio繼續(xù)補(bǔ)充說(shuō)。

　　“我們的方法基于一種新的鑒定簇中心，比如子集合，”另一位研究者Alex Rodriguez解釋道，“試想這樣的情形，在無(wú)法訪問(wèn)地圖中，卻不得不鑒定全球所有的城市時(shí)，這無(wú)疑是一個(gè)艱巨的任務(wù)。”Rodriguez進(jìn)一步解釋道，“因此我們?cè)谧鲆环N探索式的識(shí)別，嘗試尋找一條簡(jiǎn)單的規(guī)則或是一種捷徑來(lái)達(dá)成目標(biāo)。”

　　“為了確定一個(gè)地方是否達(dá)到城市級(jí)別規(guī)模，我們可以讓當(dāng)?shù)鼐用裼?jì)數(shù)自己的‘鄰居’，換句話說(shuō)，他房子的100米內(nèi)住了多少人。一旦得到這個(gè)數(shù)字，我們繼續(xù)去確認(rèn)每一個(gè)居民，他們身邊最近的擁有最多鄰居數(shù)的居民。借助這兩組數(shù)據(jù)結(jié)果交叉的部分，就可以推斷每個(gè)人所在居住區(qū)域人口的稠密程度，以及擁有鄰居數(shù)最多的兩家間距。就全球人口而言，通過(guò)自動(dòng)交叉檢測(cè)這些數(shù)據(jù)，我們能識(shí)別代表簇狀中心的個(gè)體，這些個(gè)體就是不同的城市。” Laio解釋道。

　　“我們的算法能夠精確地完成此類計(jì)算，也適用于其他場(chǎng)景，”Rodriguez進(jìn)一步補(bǔ)充說(shuō)，此算法表現(xiàn)相當(dāng)優(yōu)異。Rodriguez對(duì)此有著深刻理解：“借用面部數(shù)據(jù)檔案Olivetti Face數(shù)據(jù)庫(kù)，我們測(cè)試了自己的數(shù)學(xué)模型，并獲得了滿意的結(jié)果。此系統(tǒng)能夠正確地識(shí)別大部分個(gè)體，從不產(chǎn)生假陽(yáng)性結(jié)果，這意味著在某些情況下，它可能無(wú)法識(shí)別事物，但絕不會(huì)混淆一個(gè)個(gè)體與另一個(gè)個(gè)體。與類似的方法相比，我們的算法能夠有效地剔除異類，要知道這些異類的數(shù)據(jù)點(diǎn)與其他數(shù)據(jù)存在較大差異是會(huì)損毀分析結(jié)果的。”