
大數(shù)據解決方案的實施讓很多的IT部門面臨困境。大數(shù)據應用程序并不需要如支持團隊做應用程序一樣的基礎架構。隨著企業(yè)接受大數(shù)據,管理層會假設員工規(guī)模會減少。
而那些非必要的技術人員應該做什么呢?一個答案就是:將其轉換為技術顧問,與業(yè)務部門進行協(xié)作。換句話說,就是給予他們面向客戶的角色。
大數(shù)據之后信息技術的狀態(tài)
大數(shù)據革命已然過去,這讓信息技術(IT)企業(yè)不同程度的采用了新技術。有些完全接受了大數(shù)據存儲和復雜分析的概念,并采用了最佳實踐和成熟的項目管理方法。結果是:形成了關于產品,銷售,訂單及最重要的客戶的分析寶庫。
而其他的用戶則沒有如此幸運。可能他們所購買的特定供應商的解決方案并不包含完整的規(guī)劃,或是可能中層管理人員并沒有準備好為成功的解決方案投入必要的成熟資源。結果便是:半組織化的信息集合,少數(shù)分析解決方案,并且這種想法會在某天以某種方式讓其付出代價。
與此同時,數(shù)據庫管理員、系統(tǒng)程序員,以及其他技術專家和主題專家處在一個后大數(shù)據時代。軟硬件安裝及配置已經完成,概念驗證和試點程序已交付給最先的內部客戶。大多數(shù)軟硬件混合大數(shù)據解決方案都不要求內部調優(yōu):分析查詢執(zhí)行非常快,而且業(yè)務分析師正對探索和調查尋找有用信息翹首以待。還剩下什么留給技術人員去做呢?
當前的基礎架構團隊
首先,我們來考慮多面手。新手DBA和系統(tǒng)程序員在這個類別起步,只是發(fā)展專業(yè)技能并在他們之后的職業(yè)生涯中加深知識。他們最好的角色往往是明確定義好的,標準化的流程。這些包括:
管理數(shù)據庫備份和恢復流程;
監(jiān)視并檢測災難恢復準備;
實施自我分析和自我調優(yōu)流程(有時稱之為自治);
SQL查詢調優(yōu),包括Explains和訪問路徑分析;
數(shù)據庫性能調優(yōu);
測試生產對象和數(shù)據遷移;
監(jiān)視數(shù)據庫日志以發(fā)現(xiàn)錯誤和問題。
在新環(huán)境中,很多這些流程是多余的或不必要的。鑒于大數(shù)據分析解決方案的速度,SQL查詢調優(yōu)在大多數(shù)情況下可能是不必要的。對于數(shù)據庫性能調優(yōu)同樣如此,因為很多供應商的軟硬件混合解決方案(有時稱之為設備)是在沒有任何內部性能調優(yōu)的功能條件下交付的。這就使得輔助人員更加容易的完成工作。
結果就是:在后大數(shù)據時代的IT企業(yè)中不再需要多面手。
接下來,讓我們考慮專家專門負責的處理復雜工作:
系統(tǒng)和網絡性能調優(yōu);
軟件安裝和版本遷移;
為關鍵任務應用程序做首要技術支持;
協(xié)助和管理數(shù)據架構變更;
對潛在供應商工具執(zhí)行基準測試。
隨著IT企業(yè)接受大數(shù)據分析,需要專家做的事會更少,這意味著專家需求量會減少。
在后大數(shù)據時代的基礎架構支持
IT專家和多面手必須將他們的注意力轉移到內部用戶上來,他們會面臨許多的技術問題。以下是他們最為緊迫的一些問題。
大數(shù)據性能
隨著大數(shù)據應用程序價值的增長,業(yè)務分析師對分析的使用會劇增。更多的查詢會產生可操作的結果,生成常規(guī)報表。用戶會要求時間跨度更大,地理區(qū)域更大的更多數(shù)據。最終,大量用戶和查詢會壓垮你的大數(shù)據應用程序。
專家應該注意增加內部用戶應用程序的知識。他們需要什么數(shù)據,他們什么時候需要,以及誰會使用這些結果?專家會在一些應用程序領域變?yōu)橹黝}專家,作為內部顧問,以及會在諸如查詢效率和類似數(shù)據集之類的高級分析方法提供問題咨詢,進而提升他們的價值。
多面手可以在他們的環(huán)境中通過收集性能數(shù)據和使用統(tǒng)計信息來提供有價值的服務。這些數(shù)據可能會用于對查詢類別進行優(yōu)先級的劃分。例如,當資源利用較低時,低優(yōu)先級查詢會推遲處理。
企業(yè)數(shù)據模型
隨著存儲了越來越多的數(shù)據,擁有一個有組織的數(shù)據字典和數(shù)據模型變得尤為重要。試問如果不知道擁有什么樣的數(shù)據,又如何有效的進行查詢呢?
專家,特別是數(shù)據庫管理員,應該已經意識到數(shù)據建模概念并且應該擁有多重應用程序和系統(tǒng)的知識?,F(xiàn)在可以利用這些知識來協(xié)助業(yè)務分析師進行最初的分析定義和查詢構建。
多面手可以作為應用程序調查員來提供服務,給出數(shù)據元素的清單并進行分類和確認數(shù)據屬性和來源。
大數(shù)據技術
大數(shù)據并不只是關于用戶姓名,賬號,以及存款等。雖然這些常見的業(yè)務數(shù)據可以包括在大數(shù)據解決方案中,但是還有更為有趣的數(shù)據元素和數(shù)據類型可以探索:
還有諸如大型對象(LOBs)之類的新型復雜數(shù)據類型
諸如可擴展標記語言(XML)的自我描述型數(shù)據正變?yōu)閮炔繎贸绦驍?shù)據傳輸事實上的標準。很多文檔和數(shù)據記錄都以XML格式存儲,因為它們可以通過多種跨平臺應用程序進行讀取。
多重結構數(shù)據在捕獲用戶網站行為的時候是很常見的。所謂的點擊流為追蹤網站訪問者做了什么和他們訪問了什么數(shù)據,以及他們的偏好數(shù)據提供了方法。
這些新數(shù)據類型中的有些會讓業(yè)務分析師感到困惑。專家和多面手都可以為參考和回答問題以及為新數(shù)據類型的展示和如何對它們進行最佳利用等提供服務
對過渡進行管理
支持經理應該找到相對簡便的方法為他們的員工在過渡上提供幫助。
一些多面手會在最初服務于特定的內部用戶,以在數(shù)據需求定義上為他們提供服務。然后這可以擴展到更多的技術角色上來,包括分析執(zhí)行或是結果分析等。甚至將多面手轉移至業(yè)務線也是值得考慮的。
很多專家會繼續(xù)處理技術相關的問題,諸如性能和調優(yōu)。一些會在高級分析選項,方法和分析新數(shù)據類型等方面提供內部咨詢。管理層必須讓這些專家在工作中保持主動,否則就要承受他們流失去其他類似企業(yè)的風險。
總結
基礎架構支持團隊成功地經受了大數(shù)據的洗禮,并且最有可能負責了許多應用程序的成功實施。但是,這一結果就導致對于IT支持人員需求不可避免的減少。
專家和多面手必須通過學習內部業(yè)務線和讓他們自己熟悉當前的業(yè)務數(shù)據需求來擴展他們的技能。假設一個面向用戶的角色可能是他們僅有的長期職業(yè)生涯選擇。
數(shù)據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經網絡(RNN)家族中,長短期記憶網絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據分析師報考條件詳解與準備指南? ? 在數(shù)據驅動決策的時代浪潮下,CDA 數(shù)據分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據透視表中兩列相乘合計的實用指南? 在數(shù)據分析的日常工作中,數(shù)據透視表憑借其強大的數(shù)據匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據分析師:連接數(shù)據與業(yè)務的價值轉化者? ? 在大數(shù)據與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據查詢到趨勢預判? ? 在數(shù)據驅動決策的時代,預測分析作為挖掘數(shù)據潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據查詢結束后:分析師的收尾工作與價值深化? ? 在數(shù)據分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據分析師考試:從報考到取證的全攻略? 在數(shù)字經濟蓬勃發(fā)展的今天,數(shù)據分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據背后的時間軌跡? 在數(shù)據分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據類型:時間維度的精準切片? ? 在數(shù)據的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據分析師認證考試中,Python 作為數(shù)據處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據趨勢與突變分析的有力工具? ? ? 在數(shù)據分析的廣袤領域中,準確捕捉數(shù)據的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據分析師認證作為國內權威的數(shù)據分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網絡(LSTM)作為循環(huán)神經網絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調研數(shù)據中的深度應用? 市場調研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調研數(shù) ...
2025-07-07CDA數(shù)據分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據已成為企業(yè)決策、行業(yè)發(fā)展的核心驅動力,數(shù)據分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據分析師考試作為衡量數(shù)據專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉日期:解鎖數(shù)據處理的關鍵技能? 在數(shù)據處理與分析工作中,數(shù)據格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據分析師視角:從數(shù)據迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據已成為企業(yè)決策的核心驅動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據分析師:開啟數(shù)據職業(yè)發(fā)展新征程? ? 在數(shù)據成為核心生產要素的今天,數(shù)據分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03