大數(shù)據(jù)時代下,DBA該何去何從

數(shù)據(jù)庫管理員（DBA）的職能已擴展到數(shù)據(jù)管理、基礎(chǔ)架構(gòu)管理以及工作負載和SLA管理上。作為大數(shù)據(jù)戰(zhàn)略的一部分，DBA的角色又是如何變化的呢？

數(shù)據(jù)管理

* 為成為數(shù)據(jù)管理專家而努力。雖然SQL數(shù)據(jù)庫可以擴展以處理大數(shù)據(jù)，但數(shù)據(jù)庫并不是最優(yōu)解決方案。DBA正在預(yù)算方面做努力，在預(yù)算范圍內(nèi)，以最低的成本滿足SLA。

* 出現(xiàn)數(shù)據(jù)ops概念。數(shù)據(jù)管理和數(shù)據(jù)治理。數(shù)據(jù)操作是團隊的一部分，在收集和創(chuàng)建數(shù)據(jù)時共享目標、協(xié)作工作。使用自動化來擠壓延遲、采取最合適的敏捷方案以提高提高效率。

* 管理、治理和軟件交付。維護數(shù)據(jù)庫模型和模式。在大數(shù)據(jù)中，從定義明確的轉(zhuǎn)換到應(yīng)用程序和工程師之間的協(xié)同工作，一切都是具有探索性的。

* 雖然開發(fā)人員認為不需要數(shù)據(jù)管理，但為了后續(xù)的分析數(shù)據(jù)，DBA們?nèi)孕枰M行數(shù)據(jù)管理。

* DBA從管理數(shù)據(jù)庫轉(zhuǎn)變?yōu)榭缍鄠€系統(tǒng)的數(shù)據(jù)工程師。他們關(guān)注的是數(shù)據(jù)如何從一個數(shù)據(jù)庫轉(zhuǎn)移到另一個數(shù)據(jù)庫、數(shù)據(jù)的消耗、數(shù)據(jù)的調(diào)整以及數(shù)據(jù)流程的管理，對于數(shù)據(jù)自動分配和執(zhí)行來說這些都至關(guān)重要。

* DBA已經(jīng)不再是單單只關(guān)注像SQLServer和Oracle這樣的個人產(chǎn)品，而是必須要處理好企業(yè)大數(shù)據(jù)實施方案的執(zhí)行問題。

基礎(chǔ)架構(gòu)和平臺

DBA的角色已經(jīng)被推到第一線上。對IT棧的演變負責(zé)?；A(chǔ)設(shè)施和平臺的認定范圍變的更大。

* 這是一個不容忽視的大挑戰(zhàn)，應(yīng)用程序所使用的數(shù)據(jù)庫技術(shù)不再歸于DBA的控制范圍內(nèi)。遷移到云上的比重越大，DBA的控制范圍就越小。數(shù)據(jù)越來越多，同時也在不斷推出新的數(shù)據(jù)庫。管理數(shù)據(jù)基礎(chǔ)設(shè)施、提出大數(shù)據(jù)的解決喝整合方案、掌握如何歸檔和處理災(zāi)難恢復(fù)的技能。AWS似乎將云中的數(shù)據(jù)庫選項綁定到了DBA上。DBA仍然需要在備份、災(zāi)難恢復(fù)和海量存儲上多費心思。值得在備份和存儲方面進行更具戰(zhàn)略性的思考。

DBA比以往更重要，因此他們也需要學(xué)習(xí)：如何有效地集成存儲在RDBMS系統(tǒng)中的遺留數(shù)據(jù)，同時大數(shù)據(jù)技術(shù)也是必不可少的。

* 由于大數(shù)據(jù)改變了數(shù)據(jù)架構(gòu)，DBA的存在可能需要不是立竿見影的，但確實是實實在在的。新技術(shù)為數(shù)據(jù)管理提供了新的契機，使DBA和數(shù)據(jù)模式打開了一個新時代。

* 事實上，沒有數(shù)據(jù)模式和Hadoop的NoSQL平臺，以及支持它的一系列工具，會越來越多地部署在企業(yè)中。現(xiàn)在開發(fā)人員在數(shù)據(jù)本身的設(shè)計上有更多的影響力。

* 這在擴大DBA的專業(yè)范圍上起到了推動作用：必須學(xué)習(xí)NoSQL系統(tǒng)的機制和操作；掌握管理Hadoop集群的能力；實施“無需存儲數(shù)據(jù)存儲數(shù)據(jù)”的方法。

* 而且，NoSQL的靈活性是以數(shù)據(jù)完整性為代價，這種模型的難度更高。目前，許多公司的網(wǎng)絡(luò)應(yīng)用程序的數(shù)據(jù)完整性已經(jīng)給靈活性讓位了。

* DBA必須適應(yīng)設(shè)計和開發(fā)的風(fēng)格變化。DBA也需要運行幾個關(guān)系系統(tǒng)，并且認真學(xué)習(xí)NoSQL技術(shù)，對指導(dǎo)公司做出的部署負責(zé)。將來可能會劃分出幾種類型的DBA：局限于技術(shù)的；傳統(tǒng)的管理員；努力學(xué)習(xí)并適應(yīng)管理大數(shù)據(jù)的新技術(shù)和工具的。

* DBA始終是整個軟件開發(fā)流程的一部分。在目前的環(huán)境中，更是需要所有的DBA都參與到整個開發(fā)過程中，尤其是規(guī)劃、范圍界定和原型設(shè)計部分。DBA能為企業(yè)提供有關(guān)數(shù)據(jù)基礎(chǔ)設(shè)施功能、所需變更成本、潛在性能影響以及總體容量規(guī)劃等項目的具體信息。

* 鑒于對數(shù)據(jù)的使用要求，更多特定數(shù)據(jù)平臺范圍之外的技術(shù)正被用于實施解決方案。DBA不僅僅要專注于SQL、DDL等，還要掌握JavaScript、Java、.NET等技術(shù)。DBA會越來越精通應(yīng)用容器化和系統(tǒng)容器化（Docker、Rkt、Linux容器等）。DBA壓力會越來越大，一旦與其他角色聯(lián)系到一起，數(shù)據(jù)及其管理都是穿插著多條生命線，因此需要掌握的技術(shù)就不斷增加。

成功采用大數(shù)據(jù)策略的企業(yè)，早已經(jīng)把DBA轉(zhuǎn)變?yōu)樾滦蛿?shù)據(jù)基礎(chǔ)管理員，包括NoSQL數(shù)據(jù)庫和Hadoop在內(nèi)。與開發(fā)數(shù)據(jù)管理邏輯的數(shù)據(jù)開發(fā)人員、處理和準備數(shù)據(jù)的數(shù)據(jù)科學(xué)家以及業(yè)務(wù)線上的數(shù)據(jù)分析人員相結(jié)合，DBA是操作大數(shù)據(jù)戰(zhàn)略的重要部分。現(xiàn)在，DBA依賴于更智能的工具，這些工具可以管理并報告各種數(shù)據(jù)庫和技術(shù)框架的數(shù)據(jù)基礎(chǔ)架構(gòu)和流程。

工作負載和SLA

* 工作結(jié)構(gòu)消失了。有類型更為廣泛的問題需要解決。要實現(xiàn)混合的環(huán)境在流和批處理中交付新的工作負載，同時又能跟得上變化。

* 現(xiàn)在，有許多不在數(shù)據(jù)庫中管理數(shù)據(jù)，而是將數(shù)據(jù)組織成超級管理數(shù)據(jù)的數(shù)據(jù)生態(tài)系統(tǒng)一部分的做法。了解通信、鏈接的速度、安全性以及如何將來源匯集在一起。

* 比起以往，現(xiàn)在有更多的技術(shù)管理。理解并管理一個數(shù)據(jù)倉庫的技術(shù)方法有10到20種。為了能給問題選擇出正確的技術(shù)，便于管理，規(guī)模較大的企業(yè)正在考慮將搜索、NoSQL、Hadoop和GPU技術(shù)標準化。

* 從一個擁有數(shù)據(jù)庫領(lǐng)域知識的系統(tǒng)管理員，到現(xiàn)在需要掌握處理數(shù)據(jù)集成、非結(jié)構(gòu)化數(shù)據(jù)、自然語言處理、文檔存儲和統(tǒng)計。工具集可以能夠簡化工作。關(guān)系數(shù)據(jù)庫不會有大的進展，但大數(shù)據(jù)存儲會有新變化。

1. 大數(shù)據(jù)時代，DBA的角色發(fā)生了重大變化。在很長一段時間里，DBA僅僅只是一個系統(tǒng)管理員。他們的確有SQL知識、知道該如何優(yōu)化SQL，以及對構(gòu)建數(shù)據(jù)庫的理解，但他們并沒有主動參與到數(shù)據(jù)庫系統(tǒng)里數(shù)據(jù)的特定用途上。

2. 大數(shù)據(jù)DBA對數(shù)據(jù)和非關(guān)系數(shù)據(jù)模型的應(yīng)用程序有更深入的了解，并且必須具備執(zhí)行數(shù)據(jù)集成的知識，這些數(shù)據(jù)集超出了用于商業(yè)智能（BI）應(yīng)用的傳統(tǒng)提取——轉(zhuǎn)換——加載過程（ETL）。