探訪騰訊北方最大數(shù)據(jù)中心：馬化騰有多在乎你的數(shù)據(jù)安全

騰訊現(xiàn)今最大數(shù)據(jù)中心

在貴安數(shù)據(jù)中心的承載的業(yè)務(wù)量增長(zhǎng)起來(lái)之前，雷鋒網(wǎng)跟隨數(shù)字中國(guó)萬(wàn)里行團(tuán)隊(duì)本次探訪的騰訊天津數(shù)據(jù)中心仍是目前騰訊業(yè)務(wù)承載量最大的數(shù)據(jù)中心。就在2018年5月，騰訊天津數(shù)據(jù)中心服務(wù)器數(shù)量突破10萬(wàn)臺(tái)，成為國(guó)內(nèi)第一個(gè)單園區(qū)服務(wù)器數(shù)量突破10萬(wàn)的數(shù)據(jù)中心。

騰訊天津數(shù)據(jù)中心投產(chǎn)于2010年11月，是騰訊第一個(gè)全自建超大規(guī)模數(shù)據(jù)中心，也是目前中國(guó)規(guī)模最大的已建成數(shù)據(jù)中心，騰訊天津數(shù)據(jù)中心共四棟大樓，總建筑面積約92777平方米，其中2號(hào)樓為辦公樓，另外三棟樓均為機(jī)房樓，建設(shè)時(shí)間和采用的技術(shù)均有差異。

騰訊天津數(shù)據(jù)中心實(shí)拍

• 1號(hào)樓投產(chǎn)于2010年，建筑面積約20446平方米，設(shè)計(jì)機(jī)架數(shù)1300個(gè)，設(shè)計(jì)總用電量18MW，單機(jī)架功耗8KW；

• 3號(hào)樓投產(chǎn)于2014年，建筑面積約38971平方米，設(shè)計(jì)機(jī)架數(shù)2300個(gè)，設(shè)計(jì)總用電量36MW，單機(jī)架功耗6.5KW；

• 4號(hào)樓投產(chǎn)于2017年，建筑面積約22516平方米，設(shè)計(jì)機(jī)架數(shù)1200個(gè)，設(shè)計(jì)總用電量18MW，單機(jī)架功耗6.5KW。

騰訊前三代數(shù)據(jù)中心經(jīng)歷了由廠房改建（傳統(tǒng)方式）→自建園區(qū)（高壓直流+free cooling）→模塊化數(shù)據(jù)中心（采用MDC）的變化，2010年投產(chǎn)的1號(hào)樓是騰訊的第二代數(shù)據(jù)中心，實(shí)際負(fù)載在四年前已達(dá)9MW。2014年投產(chǎn)的3號(hào)樓屬于騰訊的第三代數(shù)據(jù)中心。

單說(shuō)10萬(wàn)臺(tái)服務(wù)器服務(wù)器可能不太直觀，我們以“數(shù)據(jù)存儲(chǔ)”或“數(shù)據(jù)備份”來(lái)看，考慮到騰訊天津數(shù)據(jù)中心服役時(shí)間比較長(zhǎng)，服務(wù)器新舊不一，假定硬盤(pán)的平均容量為4TB，每臺(tái)2U服務(wù)器12個(gè)硬盤(pán)計(jì)算，可提供總?cè)萘?80萬(wàn)TB，或者4800PB，或者4.8EB的數(shù)據(jù)。

再以該園區(qū)2號(hào)辦公樓運(yùn)營(yíng)著的騰訊視頻業(yè)務(wù)舉例，倘若一部2個(gè)小時(shí)的藍(lán)光高清電影按30GB來(lái)計(jì)算，相當(dāng)于1.6億部電影，要看3.2億個(gè)小時(shí)，一個(gè)人36530年才能看完，這還只是一個(gè)數(shù)據(jù)中心的數(shù)據(jù)存儲(chǔ)量。

如果把這些硬盤(pán)都換成12TB的希捷Exos X12氦氣密封企業(yè)級(jí)硬盤(pán)，這個(gè)總存儲(chǔ)容量會(huì)達(dá)到上面所說(shuō)的三倍，功耗還可以下降10%-20%，甚至更多。如果折算成單位容量的功耗，那就可以低至三分之一以下。

作為騰訊如今最大的數(shù)據(jù)中心，如此之大的數(shù)據(jù)保有量，保證物理安全十分重要，為此，騰訊設(shè)立了五個(gè)防護(hù)圈，分別是紅外周界、園區(qū)出入控制、大樓出入控制、樓內(nèi)門(mén)禁控制以及生物識(shí)別控制，保護(hù)騰訊數(shù)據(jù)中心的數(shù)據(jù)。

MDC微模塊技術(shù)

從一號(hào)樓和三號(hào)樓數(shù)據(jù)中心的平面布局圖可以看出，三號(hào)樓的功能區(qū)域分類(lèi)明顯比一號(hào)樓少，因?yàn)槿?hào)樓使用了MDC技術(shù)，在設(shè)計(jì)最初就把空調(diào)間、UPS間和電池間全都砍掉，相應(yīng)的功能分布到MDC中，更為靈活、高效。

何謂MDC？據(jù)騰訊官方資料，模塊化數(shù)據(jù)中心（Modular Data Center）是以微模塊（Micro Module）為獨(dú)立單位進(jìn)行工廠預(yù)制、快速部署的數(shù)據(jù)中心，其中可包含多個(gè)不同功能、功率的微模塊(Micro Module)配合使用，滿(mǎn)足業(yè)務(wù)需求。

騰訊定制的TMDC=Frame&機(jī)柜（框架及機(jī)柜）+RPP（電源頭柜）+HVDC（高壓直流系統(tǒng)）+Inrow（精密空調(diào)），占地不過(guò)15平米的微模塊卻高度集成化，減少現(xiàn)場(chǎng)施工環(huán)節(jié)。

騰訊天津數(shù)據(jù)中心經(jīng)理栗權(quán)告訴雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))，傳統(tǒng)數(shù)據(jù)中心存在不少弊端，比如節(jié)能系統(tǒng)依靠建筑設(shè)計(jì)，很難更改；整體交付周期冗長(zhǎng)（最快6-9個(gè)月），機(jī)架資源的儲(chǔ)備度往往不能跟上業(yè)務(wù)增長(zhǎng)的速度；施工單位眾多，施工質(zhì)量難以控制；由于一次性完成設(shè)計(jì)，后續(xù)較難適應(yīng)因服務(wù)器側(cè)的快速變化帶來(lái)的變更需求，靈活性差；土建和IT建設(shè)緊耦合。拿地后需要立即啟動(dòng)土建設(shè)計(jì)和IT設(shè)計(jì)，兩部分設(shè)計(jì)往往進(jìn)度不匹配；UPS系統(tǒng)等存在事故隱患，也降低了電力轉(zhuǎn)換效率。

采用TMDC技術(shù)的數(shù)據(jù)中心在很大程度上就能解決以上問(wèn)題：

• 節(jié)能方面：TMDC顆粒度相對(duì)較小，便于綜合多種節(jié)能措施，從而很好起到節(jié)能效果；

• 快速交付：微模塊最快4周交付，快速的IT部署能力使低成本方式儲(chǔ)備大量資源成為可能；

• 質(zhì)量可控：通過(guò)在工廠預(yù)制，大幅度減少工程建設(shè)環(huán)節(jié)，減少安全事故風(fēng)險(xiǎn)；

• 生命周期：以微模塊為單位，可靈活調(diào)整功耗、容量等配置；服務(wù)器生命周期結(jié)束后，也可以微模塊為單位整體退役；

• 土建和IT建設(shè)分離。第一階段只做土建部分，按簡(jiǎn)單廠房報(bào)建，預(yù)留標(biāo)準(zhǔn)接口給IT部分；

• 初期投資土建（不到20%）小，IT部分按需分期投入，分段驗(yàn)收；

• 高壓直流徹底取代UPS，確保安全且效率高。

  

騰訊天津數(shù)據(jù)中心實(shí)拍

微模塊技術(shù)最大的優(yōu)勢(shì)還在于節(jié)能，TMDC同時(shí)采用了通道封閉（5%-10%）、行間制冷（>4%）、HVDC+市電直供（8%）以及配電架構(gòu)簡(jiǎn)化技術(shù)（4%），括號(hào)內(nèi)數(shù)字即為該技術(shù)可節(jié)能比例。傳統(tǒng)數(shù)據(jù)中心封閉冷通道或者熱通道以提升效率，騰訊采用TMDC實(shí)現(xiàn)全通道封閉形成自循環(huán)，行間制冷可縮短內(nèi)部送風(fēng)距離，HVDC+市電直供減少了兩次電力轉(zhuǎn)換，效率更高，配電架構(gòu)簡(jiǎn)化可減少前端線(xiàn)損1%，配電部分能耗已無(wú)需配套制冷，相應(yīng)制冷能耗節(jié)約3%。

配電架構(gòu)簡(jiǎn)化示例

栗權(quán)表示，若一個(gè)傳統(tǒng)數(shù)據(jù)中心，原來(lái)PUE(PowerUsageEffectiveness，電源使用效率)=2.0，合理使用MDC后技術(shù)綜合節(jié)能約24%，理論P(yáng)UE可以降低至約1.5。

10萬(wàn)臺(tái)服務(wù)器供電和散熱是很大的一筆開(kāi)銷(xiāo)，這就要求各廠商們都在追求更低的PUE。以一臺(tái)配備2個(gè)英特爾至強(qiáng)金牌5118處理器（至強(qiáng)可擴(kuò)展處理器家族在中國(guó)企業(yè)級(jí)市場(chǎng)上銷(xiāo)量最好的一款）的雙路服務(wù)器作為參考模型，滿(mǎn)載功耗約400瓦，那么，10萬(wàn)臺(tái)服務(wù)器一年的電費(fèi)就是3.5億度

如果PUE=1.5，每年電費(fèi)支出就是5.25億度；如果PUE降到1.2，每年就可以節(jié)約超過(guò)1億度電。

栗權(quán)展示出了騰訊天津數(shù)據(jù)中心1號(hào)樓和3號(hào)樓的實(shí)際PUE數(shù)據(jù)對(duì)比，可以明顯的看出，一年周期內(nèi)采用了MDC技術(shù)的數(shù)據(jù)中心節(jié)能效果明顯優(yōu)于上一代，3號(hào)樓冬天關(guān)閉冷機(jī)是PUE低至1.2。

1號(hào)樓和3號(hào)樓實(shí)際PUE對(duì)比

騰訊云的“老本”

在2015年騰訊云召開(kāi)了“騰訊云2015年渠道伙伴大會(huì)”，會(huì)議地點(diǎn)正是騰訊天津數(shù)據(jù)中心，此舉也被業(yè)界理解為秀肌肉的表現(xiàn)，畢竟一家公有云廠商如果連自建數(shù)據(jù)中心都沒(méi)有，說(shuō)話(huà)氣勢(shì)都要比其他云廠商弱一截。

騰訊天津數(shù)據(jù)中心實(shí)拍

騰訊在數(shù)據(jù)中心領(lǐng)域起步比較早，早在2006年就在深圳租了一棟樓開(kāi)始嘗試數(shù)據(jù)中心的建設(shè)和創(chuàng)新，2007年便開(kāi)始了第一個(gè)20萬(wàn)規(guī)模數(shù)據(jù)中心的設(shè)計(jì)與建設(shè)，也就是現(xiàn)在天津數(shù)據(jù)中心的原型。2014年開(kāi)始騰訊在深汕合作區(qū)和上海青浦也同時(shí)在建兩個(gè)10萬(wàn)量級(jí)的數(shù)據(jù)中心。天津數(shù)據(jù)中心為騰訊獨(dú)立建設(shè)與運(yùn)營(yíng)，深汕和青浦?jǐn)?shù)據(jù)中心則是和運(yùn)營(yíng)商合作建設(shè)的大規(guī)模數(shù)據(jù)中心。

據(jù)國(guó)際行業(yè)研究&咨詢(xún)機(jī)構(gòu)Forrester發(fā)布的《2018年中國(guó)全棧公有云開(kāi)發(fā)平臺(tái)Wave報(bào)告》，騰訊云憑借優(yōu)秀的產(chǎn)品服務(wù)能力、前瞻性戰(zhàn)略視野，突出的市場(chǎng)表現(xiàn)，以3.76分的綜合評(píng)分位列中國(guó)廠商第二名；此外IDC數(shù)據(jù)顯示，騰訊云在2017年中國(guó)公有云IaaS廠商中穩(wěn)居第二，市場(chǎng)份額超過(guò)10%。

騰訊云的市場(chǎng)表現(xiàn)離不開(kāi)全球范圍內(nèi)數(shù)據(jù)中心的支撐，騰訊云在全球 25 個(gè)地理區(qū)域內(nèi)運(yùn)營(yíng)著 48 個(gè)可用區(qū)，地理區(qū)域擴(kuò)張是騰訊云全球化布局的首要任務(wù)，今年騰訊云還計(jì)劃陸續(xù)上線(xiàn)多個(gè)區(qū)域和可用區(qū)。

如果騰訊天津數(shù)據(jù)中心的10萬(wàn)臺(tái)服務(wù)器全部用于騰訊云業(yè)務(wù)，考慮到騰訊云已經(jīng)在至強(qiáng)可擴(kuò)展處理器這一代開(kāi)始向英特爾定制規(guī)格較高的至強(qiáng)金牌61系列處理器，用于云計(jì)算的服務(wù)器存儲(chǔ)、網(wǎng)絡(luò)等配置又普遍較高，一臺(tái)服務(wù)器的功耗可以達(dá)到600瓦，前述所列的支出還要增加一半。

在動(dòng)輒上億的開(kāi)銷(xiāo)下，哪怕“只是”1%的效率改善也意味著上百萬(wàn)的成本節(jié)省，這也是騰訊仍在深化數(shù)據(jù)中心自研道路的緣由所在。

貴安七星數(shù)據(jù)中心將采用T-block技術(shù)，T-block是由騰訊歷時(shí)兩年自主研發(fā)的第四代數(shù)據(jù)中心技術(shù)，外觀是形似集裝箱體的“方倉(cāng)”，由辦公箱、供電模塊箱、兩個(gè)IT模塊箱、制冷模塊箱A和制冷模塊箱B六大模塊組成。而通過(guò)這些方倉(cāng)的標(biāo)準(zhǔn)化對(duì)外接口，可以實(shí)現(xiàn)便捷快速的大規(guī)模拼裝對(duì)接。采用“搭積木”方式，全數(shù)據(jù)中心建設(shè)實(shí)現(xiàn)模塊化配置及快速拼裝，貴安七星數(shù)據(jù)中心施工周期還要更短。

與傳統(tǒng)集裝箱數(shù)據(jù)中心不同的是，T-block可以采用集裝箱并柜或是鋼架結(jié)構(gòu)拼接等多個(gè)方式實(shí)現(xiàn)，拓寬了T-block的應(yīng)用場(chǎng)景。2016年4月26日工信部電信研究院對(duì)騰訊T-block進(jìn)行了24小時(shí)不間斷帶載測(cè)試，測(cè)得日電度PUE=1.0955，當(dāng)然實(shí)際PUE存在偏差。

馬化騰在各種公開(kāi)場(chǎng)合曾經(jīng)不止一次的談及騰訊的數(shù)據(jù)中心和云計(jì)算，其最被廣泛傳播的話(huà)是在2010年的深圳IT峰會(huì)上，馬化騰表示云計(jì)算要幾百年后、一千年后才有可能到達(dá)阿凡達(dá)那種現(xiàn)象，這時(shí)候做云計(jì)算還顯得過(guò)早。說(shuō)歸說(shuō)，做歸做，騰訊云的快速轉(zhuǎn)變讓業(yè)界柞措手不及，云計(jì)算業(yè)務(wù)在馬化騰的支持下站在騰訊集團(tuán)中央，要錢(qián)有錢(qián)要人有人，五到十年內(nèi)投入100億，這還不算前期投資。

馬化騰兩次為騰訊天津數(shù)據(jù)中心站臺(tái)，騰訊全國(guó)各地?cái)?shù)據(jù)中心落地儀式他也多次出席，騰訊其實(shí)早已有一個(gè)關(guān)于數(shù)據(jù)中心的“夢(mèng)想”。