1T數(shù)據(jù)到底有多大

一英里不是個很長的距離，一立方英里相對于地球也不會讓人覺得是個很大的空間。然后我說，這個空間內(nèi)能裝下全世界所有人，你會不會覺到很驚訝？不過這話不是我說的，是美國作家房龍在一本書里寫的。

業(yè)內(nèi)有個著名的數(shù)據(jù)倉庫產(chǎn)品，叫Teradata，20多年前起這個名字，顯然是想給人能處理海量數(shù)據(jù)的感覺?？涩F(xiàn)在，論用戶還是廠商，談?wù)摂?shù)據(jù)量時都常常以T為單位了，動不動就有幾十上百T甚至PB級的數(shù)據(jù)。似乎T不是個多大的數(shù)，多幾個幾十個T也沒什么大不了的。

其實T有點像上面說的立方英里，是個挺大的數(shù)。很多人對它沒有多深的感性認識，我們要換個角度來看1T數(shù)據(jù)意味著什么。

先從空間上看

用于分析計算的數(shù)據(jù)仍然以結(jié)構(gòu)化數(shù)據(jù)為主。結(jié)構(gòu)化數(shù)據(jù)中占據(jù)空間最大的是不斷增長的交易類記錄，這種數(shù)據(jù)每條并不大，大概只有幾十到100字節(jié)，比如銀行交易只要記下帳號、日期、金額；電信的通話記錄也只是通話號碼、時刻、時長等。就按100字節(jié)算，也就是0.1K，那么1T空間就可以放下10G行記錄，100億條！

這是什么概念呢？一年大概是3000多萬秒，如果用一年時間來積累1T數(shù)據(jù)，那意味著每秒要產(chǎn)生300多筆記錄，24小時不停息！

這個數(shù)也不算大，像中國這樣的大國，電信運營商、全國級銀行以及大型互聯(lián)公司都不難有這種規(guī)模的業(yè)務(wù)量。但對于一個城市級別甚至有些省級的機構(gòu)就是個不小的數(shù)了，比如稅務(wù)部門采集的企業(yè)交稅信息、連鎖超市的商品購買數(shù)據(jù)、城市商業(yè)銀行的交易記錄等，要達到300筆/秒并不容易，何況很多機構(gòu)只有白天或工作日才能產(chǎn)生數(shù)據(jù)。而且這還只是1T，要搞到幾十上百T，那就得讓業(yè)務(wù)量再上一兩個數(shù)量級才行。

簡單說有多少T數(shù)據(jù)是沒什么感覺的，換算成每秒對應(yīng)的業(yè)務(wù)量后，才知道是不是靠譜。大數(shù)據(jù)分析計算產(chǎn)品的技術(shù)方案和數(shù)據(jù)量相關(guān)性非常強，正確估算自己的數(shù)據(jù)量對于大數(shù)據(jù)平臺的建設(shè)是至關(guān)重要的。

如果用來存儲音頻視頻這種非結(jié)構(gòu)化數(shù)據(jù)， 或者僅僅用于備份原始憑據(jù)，那1T空間就存不了多少東西了，但這種數(shù)據(jù)一般也沒什么要分析計算的需求，只是存儲和檢索，那不需要什么大數(shù)據(jù)計算平臺，只要有個網(wǎng)絡(luò)文件系統(tǒng)就行了，這成本就低多了。

再從時間上看

假設(shè)有1T數(shù)據(jù)，那么要多少時間才能處理一遍？有些廠商宣稱能在數(shù)秒內(nèi)處理TB級數(shù)據(jù)，用戶經(jīng)常也這樣期望，這可能嗎？

機械硬盤在操作系統(tǒng)下的讀取數(shù)據(jù)大概是150M/秒（不能看硬盤廠商那個指標，根本達不到），固態(tài)硬盤快些，能翻個倍。我們就算300M/秒，那么1T數(shù)據(jù)只是讀取不做任何運算也需要3000秒以上，接近一個小時！那怎么可能數(shù)秒內(nèi)處理1T數(shù)據(jù)呢？很簡單，增加硬盤，如果有1000塊硬盤，那就可以在3秒左右讀出1T數(shù)據(jù)了。

這還是比較理想的估算。實際上數(shù)據(jù)不大可能存放著那么整齊（硬盤不連續(xù)讀取時性能下降嚴重），集群（1000塊硬盤顯然不會在一臺機器上）還有網(wǎng)絡(luò)延遲，有些運算可能還有回寫動作（大分組和排序等），秒級訪問常常還會有并發(fā)需求，這些因素綜合起來，再慢幾倍也是正常的。

現(xiàn)在我們知道了，1T數(shù)據(jù)意味著幾個小時，或者上千塊硬盤。而且還是前面的話，這只算了1T，可想而知幾十上百T會是什么概念了。

有人說，硬盤太慢了，我們改用內(nèi)存。

內(nèi)存是比硬盤快得多，而且還適合并行計算。不過大內(nèi)存的機器并不便宜（成本不是線性增長的），而且更糟糕的是，內(nèi)存使用率經(jīng)常很低。比如許多計算體系都是基于Java平臺的，如果不做特別的壓縮優(yōu)化的話，JVM的內(nèi)存利用率只有20%的樣子，也就是硬盤上1T數(shù)據(jù)需要5T內(nèi)存才能加載進來，這得裝多少機器，花多少錢？

我們對1T有了上面這些感性認識后，聽到多少多少T的說法時，就可以隨時腦補出交易、節(jié)點數(shù)、成本等信息。做平臺規(guī)劃和產(chǎn)品選擇時，就不容易被忽悠了。Teradata這個名字，今天也還不算過時的。

蔣步星，清華大學(xué)計算機碩士，著有《非線性報表模型原理》等

1989年中國國際奧林匹克數(shù)學(xué)競賽團體冠軍成員，個人金牌。

2000年創(chuàng)立潤乾公司，首次在潤乾報表中提出非線性報表模型，完美解決了中國式復(fù)雜報表制表難題，目前該模型已經(jīng)成為報表行業(yè)的標準。

2008年開始研發(fā)不依賴關(guān)系型數(shù)據(jù)的計算引擎，歷經(jīng)多個版本后，于2014年集算器正式發(fā)布。有效地提高了復(fù)雜結(jié)構(gòu)化大數(shù)據(jù)計算的開發(fā)速度和運算效率。

2016年榮獲中國電子信息產(chǎn)業(yè)發(fā)展研究院評選的“2016年中國軟件和信息服務(wù)業(yè) ? 十大領(lǐng)軍人物”。

2017年將帶領(lǐng)潤乾軟件朝著擁有自主產(chǎn)權(quán)的非關(guān)系型強計算數(shù)據(jù)倉庫、云數(shù)據(jù)庫等產(chǎn)品邁進。