基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)研究

信息技術(shù)、計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)的高速發(fā)展促進(jìn)了人類社會(huì)各類數(shù)據(jù)的爆炸性增長(zhǎng)如何對(duì)這些結(jié)構(gòu)復(fù)雜的大數(shù)據(jù)進(jìn)行有效管理己經(jīng)成為當(dāng)前社會(huì)的熱點(diǎn)問(wèn)題之一。自2011年EMC公司首次在年度大會(huì)中提出大數(shù)據(jù)的概念，己有多家公司和機(jī)構(gòu)對(duì)大數(shù)據(jù)問(wèn)題進(jìn)行了研究。由于信息技術(shù)己經(jīng)滲透到人類社會(huì)的多個(gè)領(lǐng)域，大數(shù)據(jù)問(wèn)題會(huì)給整個(gè)社會(huì)帶來(lái)深刻的影響可以預(yù)見(jiàn)，大數(shù)據(jù)問(wèn)題必然會(huì)給信息技術(shù)產(chǎn)業(yè)帶來(lái)一場(chǎng)深刻的技術(shù)變革?；诖髷?shù)據(jù)的信息系統(tǒng)的技術(shù)創(chuàng)新是未來(lái)發(fā)展信息技術(shù)的關(guān)鍵，也是有關(guān)國(guó)家發(fā)展戰(zhàn)略的重要課題。面對(duì)著大數(shù)據(jù)問(wèn)題帶來(lái)的機(jī)遇和挑戰(zhàn)，我國(guó)有必要加大科研力度，努力縮小在信息技術(shù)領(lǐng)域與國(guó)際先進(jìn)水平的差距。

一、大數(shù)據(jù)的特征與價(jià)值

對(duì)于大數(shù)據(jù)的定義目前仍沒(méi)有一種通行的標(biāo)準(zhǔn)，不過(guò)從數(shù)據(jù)使用者的角度來(lái)講，大數(shù)據(jù)可以定義為超過(guò)使用者所能處理和分析能力上限的數(shù)據(jù)。由于信息技術(shù)在人類社會(huì)的應(yīng)用廣泛而又深刻，各行業(yè)的公司、企業(yè)乃至政府機(jī)構(gòu)都存儲(chǔ)了大量的數(shù)據(jù)然而，這些大數(shù)據(jù)內(nèi)的大量有價(jià)值的信息卻很少被挖掘出來(lái)加以利用。究其原因，一方面是由于目前人們對(duì)于大數(shù)據(jù)的利用價(jià)值沒(méi)有全面而深刻的認(rèn)識(shí)，忽視了大數(shù)據(jù)中存在的重要信息;另一方面，由于缺乏相關(guān)的技術(shù)和人才，不能對(duì)這些大數(shù)據(jù)進(jìn)行有效地處理和分析，以挖掘出其中有價(jià)值的信息。

大數(shù)據(jù)的基本特征是多樣性、體量、速度以及價(jià)值所謂多樣性是指大數(shù)據(jù)的來(lái)源豐富，且結(jié)構(gòu)組成也相對(duì)多樣化：體量即指數(shù)據(jù)量卜大：而速度是指數(shù)據(jù)的生成、變化和處理的速度都很快：價(jià)值則指大數(shù)據(jù)蘊(yùn)含的應(yīng)用價(jià)值。由于大數(shù)據(jù)的這些基本特征給當(dāng)前的數(shù)據(jù)處理和分析技術(shù)帶來(lái)了極大的難度，也給信息技術(shù)發(fā)展帶來(lái)了新的挑戰(zhàn)。為了對(duì)大數(shù)據(jù)進(jìn)行處理以挖掘有價(jià)值的信息，我們不僅需要提升硬件設(shè)施的性能，而且要研發(fā)出能夠處理大容量數(shù)據(jù)的技術(shù)、算法以及應(yīng)用軟件。

現(xiàn)代社會(huì)的信息化和數(shù)字化必然會(huì)導(dǎo)致大量數(shù)據(jù)的產(chǎn)生和累積。就現(xiàn)代企業(yè)而言，其在采購(gòu)、生產(chǎn)、運(yùn)輸、銷(xiāo)偉等環(huán)節(jié)都產(chǎn)生了大量數(shù)據(jù)。這些數(shù)據(jù)包含了企業(yè)運(yùn)營(yíng)過(guò)程中接觸到的供應(yīng)商、客戶、人力資源等重要信息?，F(xiàn)代企業(yè)的諸多決策很大程度上依賴于這些數(shù)據(jù)分析的結(jié)果。國(guó)外相關(guān)的研究表明，大數(shù)據(jù)存在著卜大的潛力，將會(huì)給整個(gè)社會(huì)的經(jīng)濟(jì)發(fā)展、技術(shù)創(chuàng)新和價(jià)值取向帶來(lái)重大的變革充分發(fā)揮大數(shù)據(jù)的價(jià)值，企業(yè)可以顯著提高其運(yùn)營(yíng)效益：而政府的運(yùn)行和管理效率也會(huì)得到大幅提高?？傊?，大數(shù)據(jù)的潛在價(jià)值卜大，研究基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)具有重要的戰(zhàn)略意義。

二、基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)

2.1分布式數(shù)據(jù)庫(kù)與處理系統(tǒng)

由于大數(shù)據(jù)的多樣性和大體量等特征，關(guān)系型數(shù)據(jù)庫(kù)在處理大數(shù)據(jù)時(shí)普遍存在著不可忽視的缺陷。而大數(shù)據(jù)的價(jià)值密度也相對(duì)較低，對(duì)于數(shù)據(jù)庫(kù)提出了新的要求。分布式數(shù)據(jù)庫(kù)系統(tǒng)采用更加簡(jiǎn)單的模型對(duì)數(shù)據(jù)信息進(jìn)行管理Bigtable技術(shù)采用字符串的形式實(shí)現(xiàn)了對(duì)數(shù)據(jù)信息的高效管理：而Dynam.技術(shù)采用分布式哈希表等技術(shù)也實(shí)現(xiàn)對(duì)基于大數(shù)據(jù)的信息系統(tǒng)的可靠管理。分布式的數(shù)據(jù)處理系統(tǒng)的主要數(shù)據(jù)處理技術(shù)包括批處理技術(shù)和流處理技術(shù)。批處理技術(shù)按照某一特定方式將大數(shù)據(jù)劃分為多個(gè)部分。劃分后的數(shù)據(jù)可以同時(shí)在多個(gè)處理器進(jìn)行分析和處理批處理技術(shù)削弱了數(shù)據(jù)之間的關(guān)聯(lián)性，以達(dá)到增強(qiáng)數(shù)據(jù)可調(diào)度性的目的，其技術(shù)關(guān)鍵在于數(shù)據(jù)的劃分方式、分配方式以及處理技術(shù)而流處理技術(shù)則是將大數(shù)據(jù)視為連續(xù)的流，進(jìn)入系統(tǒng)的數(shù)據(jù)能被實(shí)時(shí)處理并將結(jié)果返同。流處理技術(shù)顯著地提升了系統(tǒng)的時(shí)效性。

2. 2分布式文件管理技術(shù)

傳統(tǒng)的文件管理技術(shù)在存儲(chǔ)和管理大數(shù)據(jù)時(shí)的表現(xiàn)難以讓人滿意。因此，針對(duì)大數(shù)據(jù)信息系統(tǒng)設(shè)計(jì)的分布式文件管理技術(shù)在各大互聯(lián)網(wǎng)企業(yè)中己經(jīng)得到了應(yīng)用，并且收到了不錯(cuò)的效果其中，Google提出的GFS文件管理技術(shù)以大量低成本服務(wù)器為基礎(chǔ)，組建了一個(gè)具有較高拓展性的文件管理系統(tǒng)。大量數(shù)據(jù)

被分塊存儲(chǔ)到不同的服務(wù)器中，并通過(guò)關(guān)聯(lián)鏈接等方式進(jìn)行管理由于該技術(shù)在存儲(chǔ)和讀取大數(shù)據(jù)時(shí)效率較低，多種類GFS技術(shù)采用了增加緩沖層的方式以提高數(shù)據(jù)的存儲(chǔ)和讀取速度。

除上述技術(shù)以外，基于大數(shù)據(jù)的信息系統(tǒng)的關(guān)鍵技術(shù)還包括數(shù)據(jù)挖掘技術(shù)、稀疏處理技術(shù)等。

三、結(jié)語(yǔ)

大數(shù)據(jù)的潛在價(jià)值己經(jīng)得到了業(yè)內(nèi)人士的廣泛關(guān)注和認(rèn)可，研究基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)不僅與信息產(chǎn)業(yè)的發(fā)展密切相關(guān)，而且將在一定程度上影響整個(gè)國(guó)家的發(fā)展戰(zhàn)略。隨著信息技術(shù)的不斷發(fā)展和數(shù)字化進(jìn)程的不斷推進(jìn)，大數(shù)據(jù)信息系統(tǒng)必然會(huì)對(duì)整個(gè)人類社會(huì)產(chǎn)生深遠(yuǎn)的影響。