大數據考驗整合能力

大數據在帶來新的商機和用戶的同時，也帶來了諸多挑戰(zhàn)。 大數據存儲主要考驗的是技術整合能力和資源整合能力。大數據是一項持久的工程，也是一個不斷迭代的過程，不能一蹴而就。 
　　業(yè)務集中在云計算、大數據和業(yè)務連續(xù)性方面的柏科數據總經理林柏喬給記者舉了一個例子，某客戶需要做大量的日志分析，每天可以產生40TB的新數據，因此每天需要增加一至兩臺存儲。越來越多的客戶需要用大數據工具去分析其業(yè)務，以投入更加精準的資源去開發(fā)更具針對性的功能和新的應用。 
　　“美國20%的企業(yè)已經不同程度地使用大數據工具來提高投資回報率。中國的500強公司也開始積極關注并制定自己的大數據計劃。不久的將來，大數據應用在中國會越來越多。”林柏喬表示。 
　　存儲架構不變不行 
　　隨著大數據時代的到來，用戶對存儲最迫切的需求就是更好的擴展性。存儲系統(tǒng)的擴展一定要簡便，可以通過增加模塊或磁盤柜來增加容量，而且在升級過程中最好不要停機。隨著數據量的持續(xù)增長和數據來源的多樣化，傳統(tǒng)的存儲系統(tǒng)已經無法滿足大數據應用的需要。存儲廠商已經意識到這一點，并開始修改基于塊和文件的存儲系統(tǒng)的架構，以適應新的要求。 
　　北京榮之聯科技股份有限公司基礎架構部經理李明壯認為，大數據存儲應該具備出色的擴展能力、可管理性、高可用、高性能和分布式架構等五大基本特征。“為降低成本，企業(yè)必須采用一個能夠長期發(fā)展的數據存儲平臺，不僅需要購買行業(yè)標準的服務器和存儲產品，同時還要保證產品的擴展能力和性能。存儲系統(tǒng)需要持續(xù)滿足企業(yè)需求，并可通過靈活的擴展來保證數據處理對高性能的需求?！崩蠲鲏呀忉屨f，“傳統(tǒng)的網絡存儲系統(tǒng)采用集中式的存儲服務器來存放數據，存儲服務器存在性能瓶頸，不能滿足大數據存儲的需要。而分布式存儲系統(tǒng)采用可擴展的系統(tǒng)架構，能夠利用多臺存儲服務器實現數據的負載均衡訪問，提高了系統(tǒng)可靠性、可用性和存取效率，且易于擴展?！?span id="geybsqlxm7mc" class="Apple-converted-space"> 
　　“面對大數據，很多用戶希望能充分利用原有的存儲。因此，存儲整合是一個不小的障礙?！崩蠲鲏驯硎荆拔覀円獮榭蛻艨紤]，如何更好地節(jié)約成本，使傳統(tǒng)存儲能夠在新的大數據平臺中發(fā)揮最大效用。” 
　　華勝天成集團市場總監(jiān)唐北雁認為，用戶除了要面對大數據的去冗降噪技術、高效率低成本的大數據存儲、大數據的融合等技術方面的挑戰(zhàn)以外，在大數據的落地模式、實時數據分析與實時業(yè)務響應方面也面臨諸多難題。 
　　先里后外效率高 
　　林柏喬認為，大數據存儲技術會發(fā)生顛覆性的改變，如果一個廠家只關注基于控制器的存儲，那么其在大數據方面很難有用武之地。無論在美國還是中國，真正使用大數據的客戶沒有采用傳統(tǒng)磁盤陣列的?！耙粋€大數據解決方案如果想吸引用戶，就應該提供比Hadoop的HDFS更加高效的文件系統(tǒng)?！绷职貑陶J為，“用戶需要的是一個高效的綜合了計算、網絡和存儲的解決方案，而不是單純的存儲?！?span id="geybsqlxm7mc" class="Apple-converted-space"> 
　　大數據應用的前提是必須有明確的業(yè)務需求。換句話說，就是用商業(yè)思維來推動大數據，只有這樣，大數據的價值才能得到充分展現。 
　　唐北雁建議用戶可從以下幾方面入手開展大數據應用。 
　　第一，做好企業(yè)非結構化數據的“數字化”，將處于半休眠和休眠狀態(tài)的非結構化數據激活，進行統(tǒng)一管控。 
　　第二，先做好企業(yè)內部數據的整合，將通過企業(yè)IT規(guī)劃、主數據管理、業(yè)務系統(tǒng)和其他渠道收集來的數據進行整合和標準化，然后再利用大數據分析技術解讀這些數據，為企業(yè)提供有價值的數據分析。 
　　第三，建立合理的長期規(guī)劃。當內部的數據得到充分應用以后，企業(yè)的目光就會轉移到外部數據，特別是那些從移動互聯網、社交商務、微博和微信中獲得的數據。這些數據中也存在著大量的數據財富。 
　　據北京榮之聯科技股份有限公司產品預研部產品經理甘國華的觀察，中國用戶更傾向于選擇開放式的存儲來搭建大數據平臺。開放式的存儲采用分布式存儲架構，數據分散在各存儲節(jié)點上。“作為集成商，我們能夠為用戶提供分布式存儲，并在此基礎上提供包括檢索、分析和可視化工具在內的一整套大數據解決方案?！备蕠A表示。 
　　大數據需要的是一個高效的存儲平臺。華為認為，構建這一平臺的基礎是全融合技術架構，它融合了存儲、分析和歸檔功能，可以實現數據全生命周期的管理，提高大數據的應用效率。 
　　產品、規(guī)化都重要 
　　大數據既給系統(tǒng)集成商帶來了挑戰(zhàn)，也創(chuàng)造了新的商機。唐北雁表示：“大數據給我們帶來的挑戰(zhàn)主要是如何進行數據的收集和存儲。在存儲方面，用戶應該通過云存儲和分布式文件存儲等技術實現對大數據基礎構架的支撐，同時使用NoSQL數據庫來實現數據的存儲和管理。” 
　　李明壯表示：“在大數據平臺建設中，我們不單純?yōu)橛脩籼峁┊a品，更要幫助用戶制定一個適應大數據需求的長久的數據中心規(guī)劃。這個規(guī)劃涉及我們以前不熟悉的軟件方面的知識，比如數據分析、數據挖掘等。對于新興的應用領域，我們需要從零開始了解這些行業(yè)用戶的需求，為其提供更好的方案?！?/span>