京東大數(shù)據(jù)平臺的技術(shù)創(chuàng)新_數(shù)據(jù)分析師培訓(xùn)

當(dāng)前，業(yè)界對大數(shù)據(jù)處理的技術(shù)方案幾乎已經(jīng)形成一套通用的技術(shù)架構(gòu)。然而，結(jié)合不同的行業(yè)及不同的實際業(yè)務(wù)需求，大數(shù)據(jù)平臺建設(shè)所用核心技術(shù)依然需要付出一定的研發(fā)投入來實現(xiàn)定向的技術(shù)突破與應(yīng)用。京東大數(shù)據(jù)平臺搭建過程中，遵從“大處著眼，小處著手”的原則，在通用的開源技術(shù)架構(gòu)基礎(chǔ)上進(jìn)行定制開發(fā)和產(chǎn)品化，從技術(shù)和產(chǎn)品兩個層面實現(xiàn)微創(chuàng)新和突破性創(chuàng)新，打造堅實的平臺基礎(chǔ)。

技術(shù)微創(chuàng)新主要體現(xiàn)在平臺的基礎(chǔ)架構(gòu)上，通過對Hadoop分布式技術(shù)的深入學(xué)習(xí)，緊密結(jié)合京東業(yè)務(wù)實踐，在本地化部署過程中實現(xiàn)多項創(chuàng)新：

1.支持多租戶間隊列資源動態(tài)調(diào)配；

2.開發(fā)自定義的HDFS存儲格式，及加密/解密和驗證框架；

3.開發(fā)Thirdnamenode，實現(xiàn)災(zāi)備及異常操作監(jiān)控；

4.針對HDFS，開發(fā)一套基于用戶，群組，角色的細(xì)粒度的權(quán)限控制管理系統(tǒng)；

5.針對Hadoop量身打造啄木鳥監(jiān)控和優(yōu)化平臺；

產(chǎn)品層面的突破性創(chuàng)新主要體現(xiàn)在大數(shù)據(jù)管理應(yīng)用，包括：

1.自主研發(fā)面向復(fù)雜業(yè)務(wù)模型的海量數(shù)據(jù)生產(chǎn)調(diào)度管理平臺；

2.自主研發(fā)打通廣告點(diǎn)擊與頁面瀏覽的日志分析平臺，同時也支持實時反作弊和用戶模型研究；

3.免推送至關(guān)系型數(shù)據(jù)庫直接基于文件系統(tǒng)生成報表的前端展現(xiàn)平臺；

4.綜合多種開源技術(shù)全新打造的流式計算平臺；

5.自主算法的數(shù)據(jù)挖掘平臺；

6.融合多產(chǎn)品功能的移動應(yīng)用；

在基礎(chǔ)架構(gòu)方面，京東大數(shù)據(jù)平臺是基于云計算的動態(tài)彈性平臺，采用了Hadoop分布式計算技術(shù)，可做到快速的橫向擴(kuò)展。平臺計算技術(shù)的實現(xiàn)分為離線計算模塊與實時計算模塊，基于海量數(shù)據(jù)查詢的計算正由離線逐步過渡到即時查詢，數(shù)據(jù)洞察的能力更加及時有效。

在軟件架構(gòu)方面，基于Hadoop自主開發(fā)的大數(shù)據(jù)平臺，已為京東提供了高性能、高保障、高可用的通用服務(wù)，為京東數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師、數(shù)據(jù)挖掘工程師等提供了強(qiáng)有力的支撐，通過友好的交互設(shè)計和功能定制大幅降低了數(shù)據(jù)的消費(fèi)門檻，讓數(shù)據(jù)應(yīng)用更簡單、高效。

在業(yè)務(wù)模型方面，京東作為電商行業(yè)的領(lǐng)先者，擁有從流量、倉儲、采購、銷售、配送，售后、商品等全鏈路的超優(yōu)質(zhì)結(jié)構(gòu)化電商數(shù)據(jù)。在業(yè)務(wù)模型的設(shè)計與開發(fā)方面，將傳統(tǒng)業(yè)務(wù)主題模型進(jìn)行了全方面的優(yōu)化與創(chuàng)新，讓電商主題模型更加清晰，開發(fā)更加高效。主題模型目前已經(jīng)經(jīng)受住了復(fù)雜的京東業(yè)務(wù)，尤其是在京東業(yè)務(wù)系統(tǒng)頻繁變更的今天，更是發(fā)揮著越來越重要的作用。

在人員配備與人才培養(yǎng)方面，京東復(fù)雜的業(yè)務(wù)對京東數(shù)據(jù)工程師要求更高，甚至苛刻。京東目前擁有多名數(shù)據(jù)科學(xué)家和近百名高級數(shù)據(jù)開發(fā)工程師。并通過“大數(shù)據(jù)平臺認(rèn)證”項目，從分布式開發(fā)技術(shù)、HSQL優(yōu)化、產(chǎn)品使用、業(yè)務(wù)模型四個方面進(jìn)行專項技能培訓(xùn)，保證了在技術(shù)與產(chǎn)品迅猛改進(jìn)的同時，為京東培養(yǎng)了更多的非數(shù)據(jù)序列的員工，通過智能數(shù)據(jù)分析平臺，協(xié)助業(yè)務(wù)人員更有效地解決實際業(yè)務(wù)問題。目前大數(shù)據(jù)認(rèn)證項目，已經(jīng)為京東輸出了數(shù)百名合格的數(shù)據(jù)工程師和數(shù)據(jù)分析師。