
大數(shù)據(jù)遇上大型機(jī) 結(jié)果會(huì)如何?
進(jìn)入數(shù)據(jù)大爆炸時(shí)代,企業(yè)所面臨的局面無(wú)疑更復(fù)雜了??粗找胬鄯e的各種數(shù)據(jù),相信有不少用戶(hù)都有這樣的感覺(jué):明知面前是座金礦,卻苦于沒(méi)有合適的開(kāi)采方法,只能任機(jī)會(huì)流逝。
當(dāng)然,并不是所有用戶(hù)都在坐等時(shí)機(jī),也有不少在嘗試的。比如有用戶(hù)在用分布式平臺(tái)進(jìn)行數(shù)據(jù)的整合、存儲(chǔ)、分析、應(yīng)用,也有用戶(hù)在用集中式平臺(tái)進(jìn)行相關(guān)的工作,同樣還有用戶(hù)從分布式平臺(tái)轉(zhuǎn)向集中式平臺(tái)。
究竟誰(shuí)好?各有各的道理,不妨看個(gè)具體的案例,從中或許能受到一些啟發(fā)。
Banca Carige實(shí)踐心得
Banca Carige Group (Banca Carige) 是意大利的一家銀行,距今已經(jīng)有500多年的歷史。其雇傭約6000名員工,有650多個(gè)網(wǎng)點(diǎn),服務(wù)120萬(wàn)客戶(hù),年?duì)I業(yè)總額超過(guò)8億歐元。
隨著銀行業(yè)的主戰(zhàn)場(chǎng)不斷轉(zhuǎn)向移動(dòng)端,Banca Carige憑借500多年服務(wù)客戶(hù)的經(jīng)驗(yàn),果斷地提出了改進(jìn)計(jì)劃,即通過(guò)數(shù)據(jù)分析更好地了解客戶(hù)行為,從而達(dá)到吸引新客戶(hù)服務(wù)老客戶(hù)的目的。
最終Banca Carige選擇了IBM 大型機(jī)作為未來(lái)的業(yè)務(wù)承載平臺(tái)。至于原因,就像Banca Carige 的ICT治理經(jīng)理Daniele Cericola所講,“在銀行業(yè)中,可用性與安全性對(duì)于業(yè)務(wù)而言至關(guān)重要,而大型機(jī)的這些性能都經(jīng)過(guò)了實(shí)踐檢驗(yàn),這一事實(shí)使其自然而然成為了我們新計(jì)劃的平臺(tái)之選?!?/span>
從這個(gè)角度看,Banca Carige選擇大型機(jī)更多還是從安全性、可用性方面出發(fā)的結(jié)果。由于其之前一直在使用大型機(jī)(多年來(lái),Banca Carige一直在采用IBM DB2數(shù)據(jù)庫(kù)的IBM CICS Transaction Server上運(yùn)行包括賬戶(hù)、支付、貸款等在內(nèi)的核心銀行系統(tǒng),而該數(shù)據(jù)庫(kù)位于可運(yùn)行IBM z/OS的兩臺(tái)IBM zEnterprise EC12 服務(wù)器上),給出這樣的理由并不意外,那究竟大型機(jī)在數(shù)據(jù)分析方面的表現(xiàn)如何呢,是不是能滿(mǎn)足Banca Carige的需求?
“滿(mǎn)意?!盌aniele Cericola表示,“通過(guò)整合,我們所有的分析都是針對(duì)大型機(jī)的數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行的,借此我們可獲得單一事實(shí)來(lái)源,而且在為所有新需求開(kāi)發(fā)分布式數(shù)據(jù)集市時(shí)能夠避免多余的成本投入和復(fù)雜性?!?/span>
據(jù)悉,Banca Carige已經(jīng)將原來(lái)運(yùn)行在分布式環(huán)境的多個(gè)營(yíng)銷(xiāo)數(shù)據(jù)庫(kù)和應(yīng)用遷移至了大型機(jī),并借助運(yùn)行在Red Hat Enterprise Linux上的IBM Campaign軟件開(kāi)發(fā)了新的活動(dòng)管理數(shù)據(jù)模型,同時(shí)將這些整合至大型機(jī)環(huán)境中,從而使 DB2 for z/OS 成為分析和大數(shù)據(jù)唯一的數(shù)據(jù)儲(chǔ)存庫(kù)。
簡(jiǎn)單來(lái)說(shuō),相當(dāng)于用大型機(jī)構(gòu)建了一個(gè)平臺(tái),現(xiàn)在這些數(shù)據(jù)統(tǒng)一在這個(gè)平臺(tái)進(jìn)行處理。很顯然,這個(gè)過(guò)程所需要的采購(gòu)成本、電力成本、人力成本在一定范圍內(nèi)并不會(huì)像分布式平臺(tái)那樣隨著業(yè)務(wù)量的增加而增加。也就是說(shuō),使用大型機(jī)做大數(shù)據(jù)分析并不一定比使用分布式架構(gòu)成本更高。
雖然短短幾段話(huà),但是透露的內(nèi)容很多。比如鑒于大型機(jī)強(qiáng)大的整合能力,最終的TCO并不一定高;再比如支持Linux,使得其解決方案變得更加豐富……
就像Daniele Cericola 在采訪(fǎng)中所講,“在大型機(jī)的 Linux 環(huán)境中運(yùn)行我們的移動(dòng)銀行服務(wù),使我們?cè)诖笮蜋C(jī)發(fā)展方面又邁進(jìn)了一步。我們的關(guān)鍵業(yè)務(wù)價(jià)值是,最重要的服務(wù)可通過(guò)一致穩(wěn)定的具有高度安全性的平臺(tái)進(jìn)行統(tǒng)一管理,而且該平臺(tái)要能提供一流的可擴(kuò)展性與性能?!睉?yīng)該說(shuō)這就是對(duì)大型機(jī)核心價(jià)值的準(zhǔn)確概括。
其實(shí)類(lèi)似這樣的應(yīng)用案例還有很多,比如花旗銀行、樂(lè)購(gòu)、珠海社保等。
與時(shí)俱進(jìn)的大型機(jī)
當(dāng)然,舉了這么一個(gè)例子筆者想說(shuō)的并不是一定要使用大型機(jī)進(jìn)行數(shù)據(jù)分析,事實(shí)上,大型機(jī)肯定有其更擅長(zhǎng)、更適用的領(lǐng)域。筆者想說(shuō)的是,在分布式環(huán)境大張旗鼓的今天,其實(shí)用戶(hù)還有另外的選擇,而且這個(gè)選擇本身也在發(fā)生著變化,這才是最重要的。
說(shuō)起大型機(jī)本身,可能很多人的印象依舊停留在幾年甚至十幾年前,呆板、貴、封閉。事實(shí)上,大型機(jī)早已通過(guò)實(shí)際行動(dòng)著力改變這一形象。
它不斷開(kāi)放自己,盡管不能說(shuō)IBM一直在引領(lǐng)潮流,但至少也是在緊跟趨勢(shì),比如IBM是 最早的Linux支持者,IBM大型機(jī)也很早就支持了Linux,再比如隨著OpenStack的興起,IBM大型機(jī)也支持在OpenStack平臺(tái)上對(duì) 其進(jìn)行統(tǒng)一管理。另外還有很多開(kāi)源軟件,IBM大型機(jī)均可支持,包括Docker、Hadoop、Spark、MongoDB、MariaDB等。
它不斷提升自己的性能,單臺(tái)最高支持8000臺(tái)虛擬機(jī),提供無(wú)與倫比的擴(kuò)展性;在動(dòng)態(tài)多線(xiàn)程技術(shù)的幫助下,Linux和Java工作負(fù)載運(yùn)行速度提升30%。論整合能力、性能、安全性、可靠性,絕對(duì)無(wú)人可及。
它不斷以更低的成本來(lái)面對(duì)用戶(hù),當(dāng)然這個(gè)成本不僅是采購(gòu)成本,因?yàn)镮T系統(tǒng)的采購(gòu)成本只占總體擁有成本(TCO)的一小部分,還包括電力、運(yùn)維、管理等成本,試想能容納8000臺(tái)虛擬機(jī)的大型機(jī)能整合多少臺(tái)服務(wù)器?應(yīng)該說(shuō)這個(gè)數(shù)量是驚人的,由此帶來(lái)的后期使用成本的節(jié)約也是巨大的。
憑借著與時(shí)俱進(jìn),市場(chǎng)給了大型機(jī)、給了IBM積極的反饋。根據(jù)IDC發(fā)布的2015年第 二季度服務(wù)器市場(chǎng)調(diào)研報(bào)告顯示,該季度IBM z13大型機(jī)表現(xiàn)強(qiáng)勁,同比增幅近兩位數(shù)。根據(jù)剛剛發(fā)布的2016年第一季度IBM財(cái)報(bào)顯示,與去年同期相比,來(lái)自z Systems大型主機(jī)服務(wù)器產(chǎn)品的營(yíng)收增長(zhǎng)了16%(計(jì)入?yún)R率變動(dòng)影響后上漲了21%)。以MIPS(每秒百萬(wàn)指令數(shù))計(jì)算的z Systems所交付的計(jì)算能力,上升了28%。
記者觀(guān)察
好多人說(shuō)大型機(jī)不行了,但我們看到的卻是大型機(jī)的逆勢(shì)增長(zhǎng),這說(shuō)明什么?這表明集中式與 分布式之爭(zhēng)從來(lái)就不是非此即彼的關(guān)系,用戶(hù)關(guān)心的只是是否有更好解決問(wèn)題的方案,這才是他們的根本出發(fā)點(diǎn)。因此,就廠(chǎng)商而言,要做的是不斷完善方案,并讓 用戶(hù)認(rèn)識(shí)到其中的價(jià)值;對(duì)于用戶(hù)而言,則要對(duì)各方解決方案有個(gè)充分的比較。
數(shù)據(jù)分析咨詢(xún)請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶(hù) ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱(chēng) BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢(xún)到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢(xún)結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢(xún)結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專(zhuān)注于從單 ...
2025-07-09year_month數(shù)據(jù)類(lèi)型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類(lèi)型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門(mén)控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書(shū)考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專(zhuān)業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開(kāi)啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03