別以為你是技術(shù)開(kāi)發(fā)人員就可以不會(huì)大數(shù)據(jù)

要處理大數(shù)據(jù)，開(kāi)發(fā)人員需要了解他們正在處理的業(yè)務(wù)問(wèn)題，以及部署架構(gòu)和數(shù)據(jù)。為了了解大數(shù)據(jù)，我們采訪了21家公司的22位高管，他們正在幫助客戶管理和優(yōu)化他們的數(shù)據(jù)，以推動(dòng)業(yè)務(wù)價(jià)值。我們的問(wèn)題是：開(kāi)發(fā)者在大數(shù)據(jù)項(xiàng)目上需要什么技能?以下是他們的的答案。

了解業(yè)務(wù)問(wèn)題

1. 從數(shù)據(jù)中心的角度來(lái)看工作。你有什么數(shù)據(jù)、你想知道什么、你要怎么填補(bǔ)空白來(lái)解決問(wèn)題?

2. 開(kāi)發(fā)人員需要各種技能來(lái)處理大數(shù)據(jù)項(xiàng)目，其中包括以下三項(xiàng)至關(guān)重要的技能：A. 清楚地了解公司內(nèi)部的業(yè)務(wù)目標(biāo)范圍，以及這些技術(shù)如何與各種技術(shù)保持一致。B. 在應(yīng)用程序的中，開(kāi)發(fā)人員需要了解他們正在處理的數(shù)據(jù)集的商業(yè)價(jià)值。C. 開(kāi)發(fā)人員作為一個(gè)組織的一部分，需要有能夠構(gòu)建和管理一個(gè)應(yīng)用程序的能力。

3. 了解用例并找出最佳解決方案堆棧。培養(yǎng)核心基礎(chǔ)人才。理解數(shù)學(xué)結(jié)構(gòu)、框架和模型。了解業(yè)務(wù)應(yīng)用程序 ---如何將信息用于業(yè)務(wù)。有許多工具可以直觀地減少初始難度。正如上述，技能的完美結(jié)合涉及統(tǒng)計(jì)、數(shù)學(xué)知識(shí)、數(shù)據(jù)建模經(jīng)驗(yàn)、編程經(jīng)驗(yàn)以及商業(yè)領(lǐng)域的敏銳度。盡管找到具有完美技能組合的個(gè)人(一名真正的數(shù)據(jù)科學(xué)家)是相當(dāng)難得的，但某些工具集和系統(tǒng)可以減輕對(duì)編程經(jīng)驗(yàn)的需求，幫助數(shù)據(jù)建模部分，甚至減少對(duì)深入了解預(yù)測(cè)背后的數(shù)學(xué)模型。

部署體系結(jié)構(gòu)

1. 未來(lái)是AI / ML的，同時(shí)也別忘了微服務(wù)。在云中與AI / ML工具結(jié)合起來(lái)，這需要不同的、更大的愿景。

2. 了解云、微服務(wù)、本地分布和安全性。

3. 了解流行的開(kāi)源系統(tǒng)的架構(gòu)，跟上趨勢(shì)。

4. 系統(tǒng)架構(gòu)、軟件工程、機(jī)器學(xué)習(xí)以及高級(jí)分析。

數(shù)據(jù)

1. 雖然開(kāi)發(fā)人員掌握了開(kāi)發(fā)流程，但為了擴(kuò)展平臺(tái)將會(huì)幫助理解Kafka。你不必手動(dòng)完成所有的編碼工作，將會(huì)有其他工具來(lái)消除連接性問(wèn)題。

2. 利用數(shù)據(jù)結(jié)構(gòu)來(lái)簡(jiǎn)化流程。使用數(shù)據(jù)作為容器和微服務(wù)的一般資源。智能制造更有針對(duì)性和反應(yīng)性的過(guò)程?？促|(zhì)量問(wèn)題和根本原因。讓工作更容易，這樣他們就能做出更多的貢獻(xiàn)。

3. 集成資源來(lái)構(gòu)建應(yīng)用程序和推薦引擎。補(bǔ)充軟件堆棧、ML庫(kù)和計(jì)算資源。結(jié)構(gòu)化數(shù)據(jù)，使其易于使用。

4. 擁抱非關(guān)系數(shù)據(jù)模型，如文檔和半結(jié)構(gòu)化。為了分析的目的，經(jīng)常需要對(duì)數(shù)據(jù)進(jìn)行非規(guī)范化處理。

5. 理解結(jié)構(gòu)、維度和變量的基本數(shù)據(jù)詞匯。了解一個(gè)給定的變量可以做什么樣的分析。

6. 如何處理大規(guī)模的數(shù)據(jù)。多用戶的并發(fā)性應(yīng)用程序開(kāi)發(fā)人員可以快速獲取語(yǔ)言了解數(shù)據(jù)生態(tài)系統(tǒng)的工作原理。

7. 開(kāi)發(fā)人員需要使用編程語(yǔ)言、概率和統(tǒng)計(jì)，應(yīng)用數(shù)學(xué)和算法來(lái)獲得機(jī)器學(xué)習(xí)的上升趨勢(shì)。他們還需要了解數(shù)據(jù)的上下文，最終用戶將如何使用數(shù)據(jù)，以及如何重用數(shù)據(jù)。他們需要考慮分布式計(jì)算和架構(gòu)，將數(shù)據(jù)管理恰當(dāng)?shù)胤蛛x到不同的區(qū)域，以保持大數(shù)據(jù)架構(gòu)的組織性，敏捷性和安全性。DevOps原則也需要被應(yīng)用到。通過(guò)參與整個(gè)軟件交付流程，數(shù)據(jù)專家可以幫助其他團(tuán)隊(duì)了解軟件在生產(chǎn)中面臨的數(shù)據(jù)挑戰(zhàn)類型。

8. 數(shù)據(jù)工程和數(shù)據(jù)科學(xué)是一個(gè)大的分支。雖然對(duì)數(shù)據(jù)科學(xué)的基本知識(shí)只需要有所掌握，但對(duì)不同數(shù)據(jù)技術(shù)的深入了解卻是必要的。盡管NoSQL很受歡迎，但SQL仍然是查詢數(shù)據(jù)的標(biāo)準(zhǔn)。開(kāi)發(fā)人員需要了解不同的部署選項(xiàng)——云本地、容器和流行的部署選項(xiàng)。對(duì)數(shù)據(jù)庫(kù)和系統(tǒng)概念(如一致性保證、事務(wù)邊界、系統(tǒng)體系結(jié)構(gòu)、保證和職責(zé)等)的良好理解將幫助開(kāi)發(fā)人員了解環(huán)境、對(duì)技術(shù)進(jìn)行分類、并識(shí)別他們應(yīng)該研究的技術(shù)。