1T數(shù)據(jù)到底有多大

一英里不是個(gè)很長的距離，一立方英里相對于地球也不會讓人覺得是個(gè)很大的空間。然后我說，這個(gè)空間內(nèi)能裝下全世界所有人，你會不會覺到很驚訝？不過這話不是我說的，是美國作家房龍?jiān)谝槐緯飳懙摹?

業(yè)內(nèi)有個(gè)著名的數(shù)據(jù)倉庫產(chǎn)品，叫Teradata，20多年前起這個(gè)名字，顯然是想給人能處理海量數(shù)據(jù)的感覺?？涩F(xiàn)在，論用戶還是廠商，談?wù)摂?shù)據(jù)量時(shí)都常常以T為單位了，動不動就有幾十上百T甚至PB級的數(shù)據(jù)。似乎T不是個(gè)多大的數(shù)，多幾個(gè)幾十個(gè)T也沒什么大不了的。

其實(shí)T有點(diǎn)像上面說的立方英里，是個(gè)挺大的數(shù)。很多人對它沒有多深的感性認(rèn)識，我們要換個(gè)角度來看1T數(shù)據(jù)意味著什么。

先從空間上看

用于分析計(jì)算的數(shù)據(jù)仍然以結(jié)構(gòu)化數(shù)據(jù)為主。結(jié)構(gòu)化數(shù)據(jù)中占據(jù)空間最大的是不斷增長的交易類記錄，這種數(shù)據(jù)每條并不大，大概只有幾十到100字節(jié)，比如銀行交易只要記下帳號、日期、金額；電信的通話記錄也只是通話號碼、時(shí)刻、時(shí)長等。就按100字節(jié)算，也就是0.1K，那么1T空間就可以放下10G行記錄，100億條！

這是什么概念呢？一年大概是3000多萬秒，如果用一年時(shí)間來積累1T數(shù)據(jù)，那意味著每秒要產(chǎn)生300多筆記錄，24小時(shí)不停息！

這個(gè)數(shù)也不算大，像中國這樣的大國，電信運(yùn)營商、全國級銀行以及大型互聯(lián)公司都不難有這種規(guī)模的業(yè)務(wù)量。但對于一個(gè)城市級別甚至有些省級的機(jī)構(gòu)就是個(gè)不小的數(shù)了，比如稅務(wù)部門采集的企業(yè)交稅信息、連鎖超市的商品購買數(shù)據(jù)、城市商業(yè)銀行的交易記錄等，要達(dá)到300筆/秒并不容易，何況很多機(jī)構(gòu)只有白天或工作日才能產(chǎn)生數(shù)據(jù)。而且這還只是1T，要搞到幾十上百T，那就得讓業(yè)務(wù)量再上一兩個(gè)數(shù)量級才行。

簡單說有多少T數(shù)據(jù)是沒什么感覺的，換算成每秒對應(yīng)的業(yè)務(wù)量后，才知道是不是靠譜。大數(shù)據(jù)分析計(jì)算產(chǎn)品的技術(shù)方案和數(shù)據(jù)量相關(guān)性非常強(qiáng)，正確估算自己的數(shù)據(jù)量對于大數(shù)據(jù)平臺的建設(shè)是至關(guān)重要的。

如果用來存儲音頻視頻這種非結(jié)構(gòu)化數(shù)據(jù)， 或者僅僅用于備份原始憑據(jù)，那1T空間就存不了多少東西了，但這種數(shù)據(jù)一般也沒什么要分析計(jì)算的需求，只是存儲和檢索，那不需要什么大數(shù)據(jù)計(jì)算平臺，只要有個(gè)網(wǎng)絡(luò)文件系統(tǒng)就行了，這成本就低多了。

再從時(shí)間上看

假設(shè)有1T數(shù)據(jù)，那么要多少時(shí)間才能處理一遍？有些廠商宣稱能在數(shù)秒內(nèi)處理TB級數(shù)據(jù)，用戶經(jīng)常也這樣期望，這可能嗎？

機(jī)械硬盤在操作系統(tǒng)下的讀取數(shù)據(jù)大概是150M/秒（不能看硬盤廠商那個(gè)指標(biāo)，根本達(dá)不到），固態(tài)硬盤快些，能翻個(gè)倍。我們就算300M/秒，那么1T數(shù)據(jù)只是讀取不做任何運(yùn)算也需要3000秒以上，接近一個(gè)小時(shí)！那怎么可能數(shù)秒內(nèi)處理1T數(shù)據(jù)呢？很簡單，增加硬盤，如果有1000塊硬盤，那就可以在3秒左右讀出1T數(shù)據(jù)了。

這還是比較理想的估算。實(shí)際上數(shù)據(jù)不大可能存放著那么整齊（硬盤不連續(xù)讀取時(shí)性能下降嚴(yán)重），集群（1000塊硬盤顯然不會在一臺機(jī)器上）還有網(wǎng)絡(luò)延遲，有些運(yùn)算可能還有回寫動作（大分組和排序等），秒級訪問常常還會有并發(fā)需求，這些因素綜合起來，再慢幾倍也是正常的。

現(xiàn)在我們知道了，1T數(shù)據(jù)意味著幾個(gè)小時(shí)，或者上千塊硬盤。而且還是前面的話，這只算了1T，可想而知幾十上百T會是什么概念了。

有人說，硬盤太慢了，我們改用內(nèi)存。

內(nèi)存是比硬盤快得多，而且還適合并行計(jì)算。不過大內(nèi)存的機(jī)器并不便宜（成本不是線性增長的），而且更糟糕的是，內(nèi)存使用率經(jīng)常很低。比如許多計(jì)算體系都是基于Java平臺的，如果不做特別的壓縮優(yōu)化的話，JVM的內(nèi)存利用率只有20%的樣子，也就是硬盤上1T數(shù)據(jù)需要5T內(nèi)存才能加載進(jìn)來，這得裝多少機(jī)器，花多少錢？

我們對1T有了上面這些感性認(rèn)識后，聽到多少多少T的說法時(shí)，就可以隨時(shí)腦補(bǔ)出交易、節(jié)點(diǎn)數(shù)、成本等信息。做平臺規(guī)劃和產(chǎn)品選擇時(shí)，就不容易被忽悠了。Teradata這個(gè)名字，今天也還不算過時(shí)的。

蔣步星，清華大學(xué)計(jì)算機(jī)碩士，著有《非線性報(bào)表模型原理》等

1989年中國國際奧林匹克數(shù)學(xué)競賽團(tuán)體冠軍成員，個(gè)人金牌。

2000年創(chuàng)立潤乾公司，首次在潤乾報(bào)表中提出非線性報(bào)表模型，完美解決了中國式復(fù)雜報(bào)表制表難題，目前該模型已經(jīng)成為報(bào)表行業(yè)的標(biāo)準(zhǔn)。

2008年開始研發(fā)不依賴關(guān)系型數(shù)據(jù)的計(jì)算引擎，歷經(jīng)多個(gè)版本后，于2014年集算器正式發(fā)布。有效地提高了復(fù)雜結(jié)構(gòu)化大數(shù)據(jù)計(jì)算的開發(fā)速度和運(yùn)算效率。

2016年榮獲中國電子信息產(chǎn)業(yè)發(fā)展研究院評選的“2016年中國軟件和信息服務(wù)業(yè) ? 十大領(lǐng)軍人物”。

2017年將帶領(lǐng)潤乾軟件朝著擁有自主產(chǎn)權(quán)的非關(guān)系型強(qiáng)計(jì)算數(shù)據(jù)倉庫、云數(shù)據(jù)庫等產(chǎn)品邁進(jìn)。