探訪騰訊北方最大數(shù)據(jù)中心：馬化騰有多在乎你的數(shù)據(jù)安全

騰訊現(xiàn)今最大數(shù)據(jù)中心

在貴安數(shù)據(jù)中心的承載的業(yè)務(wù)量增長起來之前，雷鋒網(wǎng)跟隨數(shù)字中國萬里行團(tuán)隊(duì)本次探訪的騰訊天津數(shù)據(jù)中心仍是目前騰訊業(yè)務(wù)承載量最大的數(shù)據(jù)中心。就在2018年5月，騰訊天津數(shù)據(jù)中心服務(wù)器數(shù)量突破10萬臺，成為國內(nèi)第一個單園區(qū)服務(wù)器數(shù)量突破10萬的數(shù)據(jù)中心。

騰訊天津數(shù)據(jù)中心投產(chǎn)于2010年11月，是騰訊第一個全自建超大規(guī)模數(shù)據(jù)中心，也是目前中國規(guī)模最大的已建成數(shù)據(jù)中心，騰訊天津數(shù)據(jù)中心共四棟大樓，總建筑面積約92777平方米，其中2號樓為辦公樓，另外三棟樓均為機(jī)房樓，建設(shè)時間和采用的技術(shù)均有差異。

騰訊天津數(shù)據(jù)中心實(shí)拍

• 1號樓投產(chǎn)于2010年，建筑面積約20446平方米，設(shè)計(jì)機(jī)架數(shù)1300個，設(shè)計(jì)總用電量18MW，單機(jī)架功耗8KW；

• 3號樓投產(chǎn)于2014年，建筑面積約38971平方米，設(shè)計(jì)機(jī)架數(shù)2300個，設(shè)計(jì)總用電量36MW，單機(jī)架功耗6.5KW；

• 4號樓投產(chǎn)于2017年，建筑面積約22516平方米，設(shè)計(jì)機(jī)架數(shù)1200個，設(shè)計(jì)總用電量18MW，單機(jī)架功耗6.5KW。

騰訊前三代數(shù)據(jù)中心經(jīng)歷了由廠房改建（傳統(tǒng)方式）→自建園區(qū)（高壓直流+free cooling）→模塊化數(shù)據(jù)中心（采用MDC）的變化，2010年投產(chǎn)的1號樓是騰訊的第二代數(shù)據(jù)中心，實(shí)際負(fù)載在四年前已達(dá)9MW。2014年投產(chǎn)的3號樓屬于騰訊的第三代數(shù)據(jù)中心。

單說10萬臺服務(wù)器服務(wù)器可能不太直觀，我們以“數(shù)據(jù)存儲”或“數(shù)據(jù)備份”來看，考慮到騰訊天津數(shù)據(jù)中心服役時間比較長，服務(wù)器新舊不一，假定硬盤的平均容量為4TB，每臺2U服務(wù)器12個硬盤計(jì)算，可提供總?cè)萘?80萬TB，或者4800PB，或者4.8EB的數(shù)據(jù)。

再以該園區(qū)2號辦公樓運(yùn)營著的騰訊視頻業(yè)務(wù)舉例，倘若一部2個小時的藍(lán)光高清電影按30GB來計(jì)算，相當(dāng)于1.6億部電影，要看3.2億個小時，一個人36530年才能看完，這還只是一個數(shù)據(jù)中心的數(shù)據(jù)存儲量。

如果把這些硬盤都換成12TB的希捷Exos X12氦氣密封企業(yè)級硬盤，這個總存儲容量會達(dá)到上面所說的三倍，功耗還可以下降10%-20%，甚至更多。如果折算成單位容量的功耗，那就可以低至三分之一以下。

作為騰訊如今最大的數(shù)據(jù)中心，如此之大的數(shù)據(jù)保有量，保證物理安全十分重要，為此，騰訊設(shè)立了五個防護(hù)圈，分別是紅外周界、園區(qū)出入控制、大樓出入控制、樓內(nèi)門禁控制以及生物識別控制，保護(hù)騰訊數(shù)據(jù)中心的數(shù)據(jù)。

MDC微模塊技術(shù)

從一號樓和三號樓數(shù)據(jù)中心的平面布局圖可以看出，三號樓的功能區(qū)域分類明顯比一號樓少，因?yàn)槿枠鞘褂昧薓DC技術(shù)，在設(shè)計(jì)最初就把空調(diào)間、UPS間和電池間全都砍掉，相應(yīng)的功能分布到MDC中，更為靈活、高效。

何謂MDC？據(jù)騰訊官方資料，模塊化數(shù)據(jù)中心（Modular Data Center）是以微模塊（Micro Module）為獨(dú)立單位進(jìn)行工廠預(yù)制、快速部署的數(shù)據(jù)中心，其中可包含多個不同功能、功率的微模塊(Micro Module)配合使用，滿足業(yè)務(wù)需求。

騰訊定制的TMDC=Frame&機(jī)柜（框架及機(jī)柜）+RPP（電源頭柜）+HVDC（高壓直流系統(tǒng)）+Inrow（精密空調(diào)），占地不過15平米的微模塊卻高度集成化，減少現(xiàn)場施工環(huán)節(jié)。

騰訊天津數(shù)據(jù)中心經(jīng)理栗權(quán)告訴雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))，傳統(tǒng)數(shù)據(jù)中心存在不少弊端，比如節(jié)能系統(tǒng)依靠建筑設(shè)計(jì)，很難更改；整體交付周期冗長（最快6-9個月），機(jī)架資源的儲備度往往不能跟上業(yè)務(wù)增長的速度；施工單位眾多，施工質(zhì)量難以控制；由于一次性完成設(shè)計(jì)，后續(xù)較難適應(yīng)因服務(wù)器側(cè)的快速變化帶來的變更需求，靈活性差；土建和IT建設(shè)緊耦合。拿地后需要立即啟動土建設(shè)計(jì)和IT設(shè)計(jì)，兩部分設(shè)計(jì)往往進(jìn)度不匹配；UPS系統(tǒng)等存在事故隱患，也降低了電力轉(zhuǎn)換效率。

采用TMDC技術(shù)的數(shù)據(jù)中心在很大程度上就能解決以上問題：

• 節(jié)能方面：TMDC顆粒度相對較小，便于綜合多種節(jié)能措施，從而很好起到節(jié)能效果；

• 快速交付：微模塊最快4周交付，快速的IT部署能力使低成本方式儲備大量資源成為可能；

• 質(zhì)量可控：通過在工廠預(yù)制，大幅度減少工程建設(shè)環(huán)節(jié)，減少安全事故風(fēng)險(xiǎn)；

• 生命周期：以微模塊為單位，可靈活調(diào)整功耗、容量等配置；服務(wù)器生命周期結(jié)束后，也可以微模塊為單位整體退役；

• 土建和IT建設(shè)分離。第一階段只做土建部分，按簡單廠房報(bào)建，預(yù)留標(biāo)準(zhǔn)接口給IT部分；

• 初期投資土建（不到20%）小，IT部分按需分期投入，分段驗(yàn)收；

• 高壓直流徹底取代UPS，確保安全且效率高。

  

騰訊天津數(shù)據(jù)中心實(shí)拍

微模塊技術(shù)最大的優(yōu)勢還在于節(jié)能，TMDC同時采用了通道封閉（5%-10%）、行間制冷（>4%）、HVDC+市電直供（8%）以及配電架構(gòu)簡化技術(shù)（4%），括號內(nèi)數(shù)字即為該技術(shù)可節(jié)能比例。傳統(tǒng)數(shù)據(jù)中心封閉冷通道或者熱通道以提升效率，騰訊采用TMDC實(shí)現(xiàn)全通道封閉形成自循環(huán)，行間制冷可縮短內(nèi)部送風(fēng)距離，HVDC+市電直供減少了兩次電力轉(zhuǎn)換，效率更高，配電架構(gòu)簡化可減少前端線損1%，配電部分能耗已無需配套制冷，相應(yīng)制冷能耗節(jié)約3%。

配電架構(gòu)簡化示例

栗權(quán)表示，若一個傳統(tǒng)數(shù)據(jù)中心，原來PUE(PowerUsageEffectiveness，電源使用效率)=2.0，合理使用MDC后技術(shù)綜合節(jié)能約24%，理論P(yáng)UE可以降低至約1.5。

10萬臺服務(wù)器供電和散熱是很大的一筆開銷，這就要求各廠商們都在追求更低的PUE。以一臺配備2個英特爾至強(qiáng)金牌5118處理器（至強(qiáng)可擴(kuò)展處理器家族在中國企業(yè)級市場上銷量最好的一款）的雙路服務(wù)器作為參考模型，滿載功耗約400瓦，那么，10萬臺服務(wù)器一年的電費(fèi)就是3.5億度

如果PUE=1.5，每年電費(fèi)支出就是5.25億度；如果PUE降到1.2，每年就可以節(jié)約超過1億度電。

栗權(quán)展示出了騰訊天津數(shù)據(jù)中心1號樓和3號樓的實(shí)際PUE數(shù)據(jù)對比，可以明顯的看出，一年周期內(nèi)采用了MDC技術(shù)的數(shù)據(jù)中心節(jié)能效果明顯優(yōu)于上一代，3號樓冬天關(guān)閉冷機(jī)是PUE低至1.2。

1號樓和3號樓實(shí)際PUE對比

騰訊云的“老本”

在2015年騰訊云召開了“騰訊云2015年渠道伙伴大會”，會議地點(diǎn)正是騰訊天津數(shù)據(jù)中心，此舉也被業(yè)界理解為秀肌肉的表現(xiàn)，畢竟一家公有云廠商如果連自建數(shù)據(jù)中心都沒有，說話氣勢都要比其他云廠商弱一截。

騰訊天津數(shù)據(jù)中心實(shí)拍

騰訊在數(shù)據(jù)中心領(lǐng)域起步比較早，早在2006年就在深圳租了一棟樓開始嘗試數(shù)據(jù)中心的建設(shè)和創(chuàng)新，2007年便開始了第一個20萬規(guī)模數(shù)據(jù)中心的設(shè)計(jì)與建設(shè)，也就是現(xiàn)在天津數(shù)據(jù)中心的原型。2014年開始騰訊在深汕合作區(qū)和上海青浦也同時在建兩個10萬量級的數(shù)據(jù)中心。天津數(shù)據(jù)中心為騰訊獨(dú)立建設(shè)與運(yùn)營，深汕和青浦?jǐn)?shù)據(jù)中心則是和運(yùn)營商合作建設(shè)的大規(guī)模數(shù)據(jù)中心。

據(jù)國際行業(yè)研究&咨詢機(jī)構(gòu)Forrester發(fā)布的《2018年中國全棧公有云開發(fā)平臺Wave報(bào)告》，騰訊云憑借優(yōu)秀的產(chǎn)品服務(wù)能力、前瞻性戰(zhàn)略視野，突出的市場表現(xiàn)，以3.76分的綜合評分位列中國廠商第二名；此外IDC數(shù)據(jù)顯示，騰訊云在2017年中國公有云IaaS廠商中穩(wěn)居第二，市場份額超過10%。

騰訊云的市場表現(xiàn)離不開全球范圍內(nèi)數(shù)據(jù)中心的支撐，騰訊云在全球 25 個地理區(qū)域內(nèi)運(yùn)營著 48 個可用區(qū)，地理區(qū)域擴(kuò)張是騰訊云全球化布局的首要任務(wù)，今年騰訊云還計(jì)劃陸續(xù)上線多個區(qū)域和可用區(qū)。

如果騰訊天津數(shù)據(jù)中心的10萬臺服務(wù)器全部用于騰訊云業(yè)務(wù)，考慮到騰訊云已經(jīng)在至強(qiáng)可擴(kuò)展處理器這一代開始向英特爾定制規(guī)格較高的至強(qiáng)金牌61系列處理器，用于云計(jì)算的服務(wù)器存儲、網(wǎng)絡(luò)等配置又普遍較高，一臺服務(wù)器的功耗可以達(dá)到600瓦，前述所列的支出還要增加一半。

在動輒上億的開銷下，哪怕“只是”1%的效率改善也意味著上百萬的成本節(jié)省，這也是騰訊仍在深化數(shù)據(jù)中心自研道路的緣由所在。

貴安七星數(shù)據(jù)中心將采用T-block技術(shù)，T-block是由騰訊歷時兩年自主研發(fā)的第四代數(shù)據(jù)中心技術(shù)，外觀是形似集裝箱體的“方倉”，由辦公箱、供電模塊箱、兩個IT模塊箱、制冷模塊箱A和制冷模塊箱B六大模塊組成。而通過這些方倉的標(biāo)準(zhǔn)化對外接口，可以實(shí)現(xiàn)便捷快速的大規(guī)模拼裝對接。采用“搭積木”方式，全數(shù)據(jù)中心建設(shè)實(shí)現(xiàn)模塊化配置及快速拼裝，貴安七星數(shù)據(jù)中心施工周期還要更短。

與傳統(tǒng)集裝箱數(shù)據(jù)中心不同的是，T-block可以采用集裝箱并柜或是鋼架結(jié)構(gòu)拼接等多個方式實(shí)現(xiàn)，拓寬了T-block的應(yīng)用場景。2016年4月26日工信部電信研究院對騰訊T-block進(jìn)行了24小時不間斷帶載測試，測得日電度PUE=1.0955，當(dāng)然實(shí)際PUE存在偏差。

馬化騰在各種公開場合曾經(jīng)不止一次的談及騰訊的數(shù)據(jù)中心和云計(jì)算，其最被廣泛傳播的話是在2010年的深圳IT峰會上，馬化騰表示云計(jì)算要幾百年后、一千年后才有可能到達(dá)阿凡達(dá)那種現(xiàn)象，這時候做云計(jì)算還顯得過早。說歸說，做歸做，騰訊云的快速轉(zhuǎn)變讓業(yè)界柞措手不及，云計(jì)算業(yè)務(wù)在馬化騰的支持下站在騰訊集團(tuán)中央，要錢有錢要人有人，五到十年內(nèi)投入100億，這還不算前期投資。

馬化騰兩次為騰訊天津數(shù)據(jù)中心站臺，騰訊全國各地?cái)?shù)據(jù)中心落地儀式他也多次出席，騰訊其實(shí)早已有一個關(guān)于數(shù)據(jù)中心的“夢想”。