大數(shù)據(jù)考驗(yàn)整合能力

大數(shù)據(jù)在帶來(lái)新的商機(jī)和用戶的同時(shí)，也帶來(lái)了諸多挑戰(zhàn)。 大數(shù)據(jù)存儲(chǔ)主要考驗(yàn)的是技術(shù)整合能力和資源整合能力。大數(shù)據(jù)是一項(xiàng)持久的工程，也是一個(gè)不斷迭代的過(guò)程，不能一蹴而就。 
　　業(yè)務(wù)集中在云計(jì)算、大數(shù)據(jù)和業(yè)務(wù)連續(xù)性方面的柏科數(shù)據(jù)總經(jīng)理林柏喬給記者舉了一個(gè)例子，某客戶需要做大量的日志分析，每天可以產(chǎn)生40TB的新數(shù)據(jù)，因此每天需要增加一至兩臺(tái)存儲(chǔ)。越來(lái)越多的客戶需要用大數(shù)據(jù)工具去分析其業(yè)務(wù)，以投入更加精準(zhǔn)的資源去開(kāi)發(fā)更具針對(duì)性的功能和新的應(yīng)用。 
　　“美國(guó)20%的企業(yè)已經(jīng)不同程度地使用大數(shù)據(jù)工具來(lái)提高投資回報(bào)率。中國(guó)的500強(qiáng)公司也開(kāi)始積極關(guān)注并制定自己的大數(shù)據(jù)計(jì)劃。不久的將來(lái)，大數(shù)據(jù)應(yīng)用在中國(guó)會(huì)越來(lái)越多。”林柏喬表示。 
　　存儲(chǔ)架構(gòu)不變不行 
　　隨著大數(shù)據(jù)時(shí)代的到來(lái)，用戶對(duì)存儲(chǔ)最迫切的需求就是更好的擴(kuò)展性。存儲(chǔ)系統(tǒng)的擴(kuò)展一定要簡(jiǎn)便，可以通過(guò)增加模塊或磁盤柜來(lái)增加容量，而且在升級(jí)過(guò)程中最好不要停機(jī)。隨著數(shù)據(jù)量的持續(xù)增長(zhǎng)和數(shù)據(jù)來(lái)源的多樣化，傳統(tǒng)的存儲(chǔ)系統(tǒng)已經(jīng)無(wú)法滿足大數(shù)據(jù)應(yīng)用的需要。存儲(chǔ)廠商已經(jīng)意識(shí)到這一點(diǎn)，并開(kāi)始修改基于塊和文件的存儲(chǔ)系統(tǒng)的架構(gòu)，以適應(yīng)新的要求。 
　　北京榮之聯(lián)科技股份有限公司基礎(chǔ)架構(gòu)部經(jīng)理李明壯認(rèn)為，大數(shù)據(jù)存儲(chǔ)應(yīng)該具備出色的擴(kuò)展能力、可管理性、高可用、高性能和分布式架構(gòu)等五大基本特征?！盀榻档统杀荆髽I(yè)必須采用一個(gè)能夠長(zhǎng)期發(fā)展的數(shù)據(jù)存儲(chǔ)平臺(tái)，不僅需要購(gòu)買行業(yè)標(biāo)準(zhǔn)的服務(wù)器和存儲(chǔ)產(chǎn)品，同時(shí)還要保證產(chǎn)品的擴(kuò)展能力和性能。存儲(chǔ)系統(tǒng)需要持續(xù)滿足企業(yè)需求，并可通過(guò)靈活的擴(kuò)展來(lái)保證數(shù)據(jù)處理對(duì)高性能的需求?！崩蠲鲏呀忉屨f(shuō)，“傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用集中式的存儲(chǔ)服務(wù)器來(lái)存放數(shù)據(jù)，存儲(chǔ)服務(wù)器存在性能瓶頸，不能滿足大數(shù)據(jù)存儲(chǔ)的需要。而分布式存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)架構(gòu)，能夠利用多臺(tái)存儲(chǔ)服務(wù)器實(shí)現(xiàn)數(shù)據(jù)的負(fù)載均衡訪問(wèn)，提高了系統(tǒng)可靠性、可用性和存取效率，且易于擴(kuò)展?！?span id="geybsqlxm7mc" class="Apple-converted-space"> 
　　“面對(duì)大數(shù)據(jù)，很多用戶希望能充分利用原有的存儲(chǔ)。因此，存儲(chǔ)整合是一個(gè)不小的障礙?！崩蠲鲏驯硎荆拔覀円獮榭蛻艨紤]，如何更好地節(jié)約成本，使傳統(tǒng)存儲(chǔ)能夠在新的大數(shù)據(jù)平臺(tái)中發(fā)揮最大效用。” 
　　華勝天成集團(tuán)市場(chǎng)總監(jiān)唐北雁認(rèn)為，用戶除了要面對(duì)大數(shù)據(jù)的去冗降噪技術(shù)、高效率低成本的大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)的融合等技術(shù)方面的挑戰(zhàn)以外，在大數(shù)據(jù)的落地模式、實(shí)時(shí)數(shù)據(jù)分析與實(shí)時(shí)業(yè)務(wù)響應(yīng)方面也面臨諸多難題。 
　　先里后外效率高 
　　林柏喬認(rèn)為，大數(shù)據(jù)存儲(chǔ)技術(shù)會(huì)發(fā)生顛覆性的改變，如果一個(gè)廠家只關(guān)注基于控制器的存儲(chǔ)，那么其在大數(shù)據(jù)方面很難有用武之地。無(wú)論在美國(guó)還是中國(guó)，真正使用大數(shù)據(jù)的客戶沒(méi)有采用傳統(tǒng)磁盤陣列的?！耙粋€(gè)大數(shù)據(jù)解決方案如果想吸引用戶，就應(yīng)該提供比Hadoop的HDFS更加高效的文件系統(tǒng)?！绷职貑陶J(rèn)為，“用戶需要的是一個(gè)高效的綜合了計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)的解決方案，而不是單純的存儲(chǔ)?！?span id="geybsqlxm7mc" class="Apple-converted-space"> 
　　大數(shù)據(jù)應(yīng)用的前提是必須有明確的業(yè)務(wù)需求。換句話說(shuō)，就是用商業(yè)思維來(lái)推動(dòng)大數(shù)據(jù)，只有這樣，大數(shù)據(jù)的價(jià)值才能得到充分展現(xiàn)。 
　　唐北雁建議用戶可從以下幾方面入手開(kāi)展大數(shù)據(jù)應(yīng)用。 
　　第一，做好企業(yè)非結(jié)構(gòu)化數(shù)據(jù)的“數(shù)字化”，將處于半休眠和休眠狀態(tài)的非結(jié)構(gòu)化數(shù)據(jù)激活，進(jìn)行統(tǒng)一管控。 
　　第二，先做好企業(yè)內(nèi)部數(shù)據(jù)的整合，將通過(guò)企業(yè)IT規(guī)劃、主數(shù)據(jù)管理、業(yè)務(wù)系統(tǒng)和其他渠道收集來(lái)的數(shù)據(jù)進(jìn)行整合和標(biāo)準(zhǔn)化，然后再利用大數(shù)據(jù)分析技術(shù)解讀這些數(shù)據(jù)，為企業(yè)提供有價(jià)值的數(shù)據(jù)分析。 
　　第三，建立合理的長(zhǎng)期規(guī)劃。當(dāng)內(nèi)部的數(shù)據(jù)得到充分應(yīng)用以后，企業(yè)的目光就會(huì)轉(zhuǎn)移到外部數(shù)據(jù)，特別是那些從移動(dòng)互聯(lián)網(wǎng)、社交商務(wù)、微博和微信中獲得的數(shù)據(jù)。這些數(shù)據(jù)中也存在著大量的數(shù)據(jù)財(cái)富。 
　　據(jù)北京榮之聯(lián)科技股份有限公司產(chǎn)品預(yù)研部產(chǎn)品經(jīng)理甘國(guó)華的觀察，中國(guó)用戶更傾向于選擇開(kāi)放式的存儲(chǔ)來(lái)搭建大數(shù)據(jù)平臺(tái)。開(kāi)放式的存儲(chǔ)采用分布式存儲(chǔ)架構(gòu)，數(shù)據(jù)分散在各存儲(chǔ)節(jié)點(diǎn)上。“作為集成商，我們能夠?yàn)橛脩籼峁?a href='/map/fenbushicunchu/' style='color:#000;font-size:inherit;'>分布式存儲(chǔ)，并在此基礎(chǔ)上提供包括檢索、分析和可視化工具在內(nèi)的一整套大數(shù)據(jù)解決方案?！备蕠?guó)華表示。 
　　大數(shù)據(jù)需要的是一個(gè)高效的存儲(chǔ)平臺(tái)。華為認(rèn)為，構(gòu)建這一平臺(tái)的基礎(chǔ)是全融合技術(shù)架構(gòu)，它融合了存儲(chǔ)、分析和歸檔功能，可以實(shí)現(xiàn)數(shù)據(jù)全生命周期的管理，提高大數(shù)據(jù)的應(yīng)用效率。 
　　產(chǎn)品、規(guī)化都重要 
　　大數(shù)據(jù)既給系統(tǒng)集成商帶來(lái)了挑戰(zhàn)，也創(chuàng)造了新的商機(jī)。唐北雁表示：“大數(shù)據(jù)給我們帶來(lái)的挑戰(zhàn)主要是如何進(jìn)行數(shù)據(jù)的收集和存儲(chǔ)。在存儲(chǔ)方面，用戶應(yīng)該通過(guò)云存儲(chǔ)和分布式文件存儲(chǔ)等技術(shù)實(shí)現(xiàn)對(duì)大數(shù)據(jù)基礎(chǔ)構(gòu)架的支撐，同時(shí)使用NoSQL數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)和管理?！?span id="geybsqlxm7mc" class="Apple-converted-space"> 
　　李明壯表示：“在大數(shù)據(jù)平臺(tái)建設(shè)中，我們不單純?yōu)橛脩籼峁┊a(chǎn)品，更要幫助用戶制定一個(gè)適應(yīng)大數(shù)據(jù)需求的長(zhǎng)久的數(shù)據(jù)中心規(guī)劃。這個(gè)規(guī)劃涉及我們以前不熟悉的軟件方面的知識(shí)，比如數(shù)據(jù)分析、數(shù)據(jù)挖掘等。對(duì)于新興的應(yīng)用領(lǐng)域，我們需要從零開(kāi)始了解這些行業(yè)用戶的需求，為其提供更好的方案?！?/span>