將大數(shù)據(jù)變成可管理的數(shù)據(jù)

大數(shù)據(jù)是無所不在的，因為它可以提供有價值的洞察力，如果沒有它是不可用的。然而，分析大數(shù)據(jù)集可能會產(chǎn)生問題。首先，大數(shù)據(jù)是大規(guī)模的，有時太大，不能通過常用的分析工具有效地處理。日前，美國麻省理工學院計算機科學與人工智能實驗室和以色列海法大學的研究人員已經(jīng)開發(fā)了一個解決方案，將大數(shù)據(jù)變成可管理的數(shù)據(jù)。

通常使用諸如低秩近似，奇異值分解，主成分分析和非負矩陣分解的數(shù)據(jù)分析工具來減少數(shù)據(jù)集中的變量的數(shù)量。不幸的是，在大量大數(shù)據(jù)集上使用這些工具通常太費時，不實用。
　　解決這個問題的典型解決方案包括為大數(shù)據(jù)集找到一個核心集。核心集是大數(shù)據(jù)的一個子集，用于保留大數(shù)據(jù)最重要的數(shù)學關系。數(shù)據(jù)分析工具可以更有效地與coreet工作，因為它更小。

如果要進行兩個或多個數(shù)據(jù)分析，則進行查找可能是一個問題，因為從大數(shù)據(jù)中提取核心集，每個分析工具都有自己唯一的方法。在分析中比較結果，將涉及比較來自不理想的不同核心的結果。研究團隊通過開發(fā)一種用于提取可由大量常用數(shù)據(jù)分析工具使用的核心集的通用方法來解決這個問題。
　　假設工作人員想要識別在一個巨大的文本數(shù)據(jù)庫（如維基百科）中最常出現(xiàn)的主題。低秩近似是一種將完成這項工作的算法，但維基百科數(shù)據(jù)庫非常大，因此，采用低秩近似將花費太長的時間來完成任務。
　　維基百科數(shù)據(jù)庫有多大？想象一下，在維基百科中每一篇文章都有一行的矩陣或表格，以及在維基百科中出現(xiàn)的每個單詞的列。該矩陣將有140萬篇的文章和440萬列的單詞。這是一個約6.2萬億個單元格的表格，平均分配到地球上每個人，每人約為821個單元格。這的確是一個大數(shù)據(jù)。
　　研究人員的解決方案使用高級類型的幾何知識來將這個巨大的數(shù)據(jù)集縮減為更易于管理的核心集。想象一下，通過一個二維的具有長和寬的矩形就很容易處理。現(xiàn)在添加第三個維度，深度。也很容易想象這是一個盒子，現(xiàn)在添加第四個維度，時間。我們稱之為時空，但它不是那么容易想象?，F(xiàn)在添加兩個或三個更多的維度，并想象它的外觀。
　　人們無法想象這些多維空間看起來像什么，但是可以采用幾何知識描述。為了縮小維基百科矩陣，研究人員使用了一個叫做超循環(huán)的多維圓，它有440萬個維度，可以表達維基百科中出現(xiàn)的每個單詞一個。維基百科中的140萬篇文章中的每一篇都表示為這個超循環(huán)上的唯一點。
　　研究人員如何將超循環(huán)收縮成更易于管理的東西？維基百科中的440萬列單詞的每一個都由一個變量表示，維基百科中的每篇文章都由這些440萬個變量的唯一的一組值表示。研究者的超循環(huán)技術涉及一次獲取一篇文章，并找到其440萬個變量的一小部分的平均值，例如50個變量。最好保留變量之間的數(shù)學關系的平均值可以通過計算表示50個變量或單詞的這個小得多的50維超循環(huán)的中心來找到。然后將平均值作為coreet中的一個數(shù)據(jù)點輸入。而對每篇文章中的剩余變量（單詞）和140萬篇文章中的每一篇重復這個過程。
　　使用此方法將大數(shù)據(jù)維基百科矩陣縮減為核心集需要大量的單獨計算，但每個計算都可以非?？焖俚貓?zhí)行，因為它只涉及50個變量。其結果是一個核心集，它保留了大數(shù)據(jù)中存在的重要的數(shù)學關系，并且足夠小，可以被各種數(shù)據(jù)分析技術有效地使用。
　　超循環(huán)技術的真正核心在于這種品種。該技術創(chuàng)建了一個核心集，可以被許多數(shù)據(jù)分析工具使用，這些工具通常應用于計算機視覺，自然語言處理，神經(jīng)科學，天氣預報，推薦系統(tǒng)等。甚至人們可能認為超循環(huán)，都是他們所有規(guī)則的一環(huán)。