大數(shù)據(jù)實(shí)踐 基礎(chǔ)架構(gòu)先行_數(shù)據(jù)分析師

大數(shù)據(jù)被認(rèn)為是下一個(gè)創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的前沿，誰(shuí)率先抓住大數(shù)據(jù)的先機(jī)即意味著能夠在未來(lái)市場(chǎng)競(jìng)爭(zhēng)之中取得桿位。當(dāng)前大數(shù)據(jù)市場(chǎng)除了傳統(tǒng)廠商之外，還同時(shí)涌現(xiàn)出一大批創(chuàng)新技術(shù)廠商，并且像零售、金融、互聯(lián)網(wǎng)、政府機(jī)構(gòu)、科研教育等行業(yè)用戶對(duì)于大數(shù)據(jù)的認(rèn)知與認(rèn)可大大超過(guò)了以往任何一項(xiàng)IT技術(shù)。歸根結(jié)底，這是因?yàn)榇髷?shù)據(jù)能夠?qū)I(yè)務(wù)產(chǎn)生最直接的影響。大數(shù)據(jù)當(dāng)前處于上升期和快速發(fā)展時(shí)期，人們當(dāng)前對(duì)于大數(shù)據(jù)的期望值也是越來(lái)越高。
 
大數(shù)據(jù)時(shí)代下的基礎(chǔ)架構(gòu)挑戰(zhàn)
 
毫無(wú)疑問(wèn)，大數(shù)據(jù)時(shí)代下，要想實(shí)現(xiàn)更大的業(yè)務(wù)價(jià)值，首先需要解決的就是基礎(chǔ)架構(gòu)問(wèn)題，基礎(chǔ)架構(gòu)之中存儲(chǔ)又是重中之重。當(dāng)前趨勢(shì)下，社交媒體、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、多媒體應(yīng)用等趨勢(shì)興起使得非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)大幅增長(zhǎng)，加上傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)，用戶的整體數(shù)據(jù)量呈現(xiàn)出海量、高增長(zhǎng)的狀態(tài)。如何面對(duì)數(shù)據(jù)源繁多、數(shù)據(jù)增長(zhǎng)速度快速、數(shù)據(jù)種類豐富化、數(shù)據(jù)存取形式復(fù)雜化以及應(yīng)用需求多樣化就成為當(dāng)前大部分用戶首要面對(duì)的挑戰(zhàn)和難題。
 
 
著名咨詢機(jī)構(gòu)麥肯錫認(rèn)為，大數(shù)據(jù)是指其大小超出了典型數(shù)據(jù)庫(kù)軟件的采集、存儲(chǔ)、管理和分析等能力的數(shù)據(jù)集。大數(shù)據(jù)公認(rèn)的4V特征包括：容量、類型、速度以及價(jià)值（volume、variety、velocity和value）。著名調(diào)研機(jī)構(gòu)IDC對(duì)于大數(shù)據(jù)技術(shù)定位為：通過(guò)高速捕捉、發(fā)現(xiàn)和/或分析，從大容量數(shù)據(jù)中獲取價(jià)值的一種新的技術(shù)架構(gòu)。另外一方面，我們也可以發(fā)現(xiàn)當(dāng)前對(duì)于大數(shù)據(jù)的一個(gè)誤區(qū)廣泛存在于用戶之中：當(dāng)前仍然有很大一部分用戶認(rèn)為新興起的Hadoop技術(shù)、商業(yè)智能分析（BI）這些就意味著大數(shù)據(jù)，他們認(rèn)為掌控好Hadoop或者BI即可掌控大數(shù)據(jù)。事實(shí)上，大數(shù)據(jù)不僅僅是Hadoop或者商業(yè)智能分析，這些熱門(mén)技術(shù)是大數(shù)據(jù)分析和處理過(guò)程中當(dāng)前熱門(mén)的領(lǐng)域，而要想真正實(shí)現(xiàn)大數(shù)據(jù)的價(jià)值、為業(yè)務(wù)發(fā)展服務(wù)，則需要從全面的角度考慮。
 
因此，傳統(tǒng)存儲(chǔ)產(chǎn)品由于自身的設(shè)計(jì)缺陷，在擴(kuò)展性方面、與上層應(yīng)用集成度、高性能、自動(dòng)化能力、成本等方面已經(jīng)很難滿足大數(shù)據(jù)諸多的存儲(chǔ)特征，根本很難肩負(fù)起企業(yè)大數(shù)據(jù)存儲(chǔ)、分析以及應(yīng)用的諸多需求。尤其當(dāng)前數(shù)據(jù)的類型豐富程度、容量愈發(fā)變大的情況下，并且在業(yè)務(wù)部門(mén)跟IT日益緊密的趨勢(shì)下，對(duì)于數(shù)據(jù)的存儲(chǔ)與分析的速度和性能要求越來(lái)越高，對(duì)海量數(shù)據(jù)的快速、高效存儲(chǔ)絕對(duì)應(yīng)該是大數(shù)據(jù)時(shí)代存儲(chǔ)系統(tǒng)的第一必備要求，否則大數(shù)據(jù)后續(xù)相關(guān)的大數(shù)據(jù)分析、大數(shù)據(jù)處理都將成為空談。
 
看清大數(shù)據(jù)趨勢(shì) 不再霧里看花
 
在大數(shù)據(jù)時(shí)代下，大數(shù)據(jù)存儲(chǔ)產(chǎn)品顯然要比傳統(tǒng)存儲(chǔ)產(chǎn)品考慮更多因素，目前市場(chǎng)中已經(jīng)有很多專門(mén)為大數(shù)據(jù)應(yīng)用設(shè)計(jì)和開(kāi)發(fā)的存儲(chǔ)系統(tǒng)，這其中包括國(guó)內(nèi)和國(guó)外諸多廠商的產(chǎn)品。雖然有很多產(chǎn)品可供大家參考和選擇。但是對(duì)于用戶而言，能夠看清大數(shù)據(jù)基礎(chǔ)架構(gòu)的發(fā)展趨勢(shì)，則可在基礎(chǔ)架構(gòu)建設(shè)方面不再霧里看花。
 
趨勢(shì)一：容量大、易擴(kuò)展。眾人皆知，大數(shù)據(jù)的容量往往是PB級(jí)別，甚至有些用戶的數(shù)據(jù)量開(kāi)始達(dá)到EB級(jí)別，這要求未來(lái)的存儲(chǔ)系統(tǒng)能夠具備容量大、易擴(kuò)展的特點(diǎn)。
 
趨勢(shì)二：高性能。大數(shù)據(jù)的一大特征即為速度，要求存儲(chǔ)系統(tǒng)能夠快速存儲(chǔ)數(shù)據(jù)，因此這要求存儲(chǔ)系統(tǒng)的響應(yīng)速度能夠符合大數(shù)據(jù)的要求。
 
趨勢(shì)三：多集成。大數(shù)據(jù)時(shí)代下，數(shù)據(jù)來(lái)源廣泛與復(fù)雜，不同類型的數(shù)據(jù)訪問(wèn)、處理和分析的方式不同，這就要求大數(shù)據(jù)時(shí)代下存儲(chǔ)系統(tǒng)的接口集成化，使得大數(shù)據(jù)存儲(chǔ)系統(tǒng)能夠應(yīng)對(duì)不同的數(shù)據(jù)需求。
 
趨勢(shì)四：自動(dòng)化。由于大數(shù)據(jù)使得數(shù)據(jù)量大幅增加以及數(shù)據(jù)處理流程、方式更加復(fù)雜，給存儲(chǔ)系統(tǒng)的管理、維護(hù)變得更加復(fù)雜。因此，管理自動(dòng)化也是衡量大數(shù)據(jù)存儲(chǔ)系統(tǒng)的重要趨勢(shì)。
 
趨勢(shì)五：安全可靠。大數(shù)據(jù)最為核心的價(jià)值所在即為數(shù)據(jù)，因此確保數(shù)據(jù)的安全可靠也是大數(shù)據(jù)存儲(chǔ)需要重點(diǎn)考慮的因素。保證數(shù)據(jù)的可用性、完整性和持久化都是未來(lái)存儲(chǔ)系統(tǒng)所必備的趨勢(shì)。
 
趨勢(shì)六：彈性成本。大數(shù)據(jù)并不意味著用戶必須要在基礎(chǔ)架構(gòu)上一次性投入大額成本，具有彈性、可擴(kuò)展的存儲(chǔ)系統(tǒng)能夠幫助用戶實(shí)現(xiàn)彈性成本，讓不同層面的用戶都能在大數(shù)據(jù)浪潮中淘金。
 
綜述
 
追本溯源，在大數(shù)據(jù)時(shí)代下，我們往往不能只將眼光盯在數(shù)據(jù)分析與處理層面，用戶在嘗試大數(shù)據(jù)解決方案之前，更應(yīng)從全面角度去審視自身的基礎(chǔ)架構(gòu)是否適合大數(shù)據(jù)未來(lái)的需求與發(fā)展——大數(shù)據(jù)實(shí)踐，基礎(chǔ)架構(gòu)先行。CDA數(shù)據(jù)分析師培訓(xùn)官網(wǎng)