大數據的概念定義及其發(fā)展歷史

大數據（Big Data）又稱為巨量資料，指需要新處理模式才能具有更強的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產?！按髷祿备拍钭钤缬删S克托·邁爾·舍恩伯格和肯尼斯·庫克耶在編寫《大數據時代》中提出，指不用隨機分析法（抽樣調查）的捷徑，而是采用所有數據進行分析處理。大數據有4V特點，即Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。

一、大數據概念定義

對于“大數據”（Big data）研究機構Gartner給出了定義，“大數據”是需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產。

大數據技術的戰(zhàn)略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業(yè)化處理。換言之，如果把大數據比作一種產業(yè)，那么這種產業(yè)實現盈利的關鍵，在于提高對數據的“加工能力”，通過“加工”實現數據的“增值”。

從技術上看，大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機進行處理，必須采用分布式架構。它的特色在于對海量數據進行分布式數據挖掘，但它必須依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術。

隨著云時代的來臨，大數據（Big data）也吸引了越來越多的關注。《著云臺》的分析師團隊認為，大數據（Big data）通常用來形容一個公司創(chuàng)造的大量非結構化數據和半結構化數據，這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。大數據分析常和云計算聯系到一起，因為實時的大型數據集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。

大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用于大數據的技術，包括大規(guī)模并行處理（MPP）數據庫、數據挖掘電網、分布式文件系統(tǒng)、分布式數據庫、云計算平臺、互聯網和可擴展的存儲系統(tǒng)。

最小的基本單位是bit，按順序給出所有單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB，它們按照進率1024（2的十次方）來計算：

8bit= 1Byte

1KB= 1,024 Bytes

1MB= 1,024 KB = 1,048,576 Bytes

1GB= 1,024 MB = 1,048,576 KB

1TB= 1,024 GB = 1,048,576 MB

1PB= 1,024 TB = 1,048,576 GB

1EB= 1,024 PB = 1,048,576 TB

1ZB= 1,024 EB = 1,048,576 PB

1YB= 1,024 ZB = 1,048,576 EB

1BB= 1,024 YB = 1,048,576 ZB

1NB= 1,024 BB = 1,048,576 YB

1 DB = 1,024 NB = 1,048,576 BB

二、發(fā)展歷史

1887–1890年

美國統(tǒng)計學家赫爾曼·霍爾瑞斯為了統(tǒng)計1890年的人口普查數據發(fā)明了一臺電動器來讀取卡片上的洞數,該設備讓美國用一年時間就完成了原本耗時8年的人口普查活動，由此在全球范圍內引發(fā)了數據處理的新紀元。

1935–1937年

美國總統(tǒng)富蘭克林·羅斯福利用社會保障法開展了美國政府最雄心勃勃的一項數據收集項目，IBM最終贏得競標，即需要整理美國的2600萬個員工和300萬個雇主的記錄。共和黨總統(tǒng)候選人阿爾夫蘭登scoffs嘲笑地說，“要整理如此繁多的職工檔案，還必須而調用大規(guī)模的現場調查人員去核實那些信息不完整的人員記錄?！?

1943年

一家英國工廠為了破譯二戰(zhàn)期間的納粹密碼,讓工程師開發(fā)了系列開創(chuàng)性的能進行大規(guī)模數據處理的機器,并使用了第一臺可編程的電子計算機進行運算。該計算機被命名為“巨人”，為了找出攔截信息中的潛在模式，它以每秒鐘5000字符的速度讀取紙卡——將原本需要耗費數周時間才能完成的工作量壓縮到了幾個小時。破譯德國部隊前方陣地的信息以后，幫助盟軍成功登陸了諾曼底。

1997年

美國宇航局研究員邁克爾·考克斯和大衛(wèi)·埃爾斯沃斯首次使用“大數據”這一術語來描述20世紀90年代的挑戰(zhàn)：超級計算機生成大量的信息——在考克斯和埃爾斯沃斯按案例中,模擬飛機周圍的氣流——是不能被處理和可視化的。數據集通常之大,超出了主存儲器、本地磁盤，甚至遠程磁盤的承載能力。”他們稱之為“大數據問題。”

2002年

在9/11襲擊后,美國政府為阻止恐怖主義已經涉足大規(guī)模數據挖掘。前國家安全顧問約翰·波因德克斯特領導國防部整合現有政府的數據集，組建一個用于篩選通信、犯罪、教育、金融、醫(yī)療和旅行等記錄來識別可疑人的大數據庫。一年后國會因擔憂公民自由權而停止了這一項目。

2004年

9/11委員會呼吁反恐機構應統(tǒng)一組建“一個基于網絡的信息共享系統(tǒng)”，以便能快處理應接不暇的數據。到2010年，美國國家安全局的30000名員工將攔截和存儲17億年電子郵件、電話和其它通訊日報。與此同時,零售商積累關于客戶購物和個人習慣的大量數據，沃爾瑪自吹已擁有一個容量為460字節(jié)的緩存器——比當時互聯網上的數據量還要多一倍。

2007–2008年

隨著社交網絡的激增，技術博客和專業(yè)人士為“大數據” 概念注入新的生機?！爱斍笆澜绶秶鷥纫延械囊恍┢渌ぞ邔⒈淮罅繑祿蛻盟惴ㄋ〈薄！哆B線》的克里斯·安德森認為當時處于一個“理論終結時代”。一些政府機構和美國的頂尖計算機科學家聲稱,“應該深入參與大數據計算的開發(fā)和部署工作,因為它將直接有利于許多任務的實現。”

2009年1月

印度政府建立印度唯一的身份識別管理局，對12億人的指紋、照片和虹膜進行掃描,并為每人分配12位的數字ID號碼，將數據匯集到世界最大的生物識別數據庫中。官員們說它將會起到提高政府的服務效率和減少腐敗行為的作用，但批評者擔心政府會針對個別人進行剖面分析并與分享這些人的私密生活細節(jié)。

2009年5月

大數據或成反恐分析利器

美國總統(tǒng)巴拉克·奧巴馬政府推出data.gov網站作為政府開放數據計劃的部分舉措。該網站的超過4.45萬量數據集被用于保證一些網站和智能手機應用程序來跟蹤從航班到產品召回再到特定區(qū)域內失業(yè)率的信息,這一行動激發(fā)了從肯尼亞到英國范圍內的政府們相繼推出類似舉措。

2009年7月

應對全球金融危機,聯合國秘書長潘基文承諾創(chuàng)建警報系統(tǒng)，抓住“實時數據帶給貧窮國家經濟危機的影響” 。聯合國全球脈沖項目已研究了對如何利用手機和社交網站的數據源來分析預測從螺旋價格到疾病爆發(fā)之類的問題。

2011年2月

掃描2億年的頁面信息,或4兆兆字節(jié)磁盤存儲,只需幾秒即可完成。IBM的沃森計算機系統(tǒng)在智力競賽節(jié)目《危險邊緣》中打敗了兩名人類挑戰(zhàn)者。后來紐約時報配音這一刻為一個“大數據計算的勝利?！?

2012年3月

美國政府報告要求每個聯邦機構都要有一個“大數據”的策略，作為回應，奧巴馬政府宣布一項耗資2億美元的大數據研究與發(fā)展項目。國家衛(wèi)生研究院將一套人類基因組項目的數據集存放在亞馬遜的計算機云內,同時國防部也承諾要開發(fā)出可“從經驗中進行學習”的“自主式”防御系統(tǒng)。中央情報局局長戴維·彼得雷烏斯將軍在發(fā)帖討論阿拉伯之春機構通過云計算收集和分析全球社會媒體信息之事時，不禁驚嘆我們已經被自卸卡車倒進了“‘數字塵土”中。

2012年7月

美國國務卿希拉里·克林頓宣布了一個名為“數據2X”的公私合營企業(yè)用來收集統(tǒng)計世界各地的婦女和女童在經濟、政治和社會地位方面的信息?！皵祿恢皇菧y量過程——它能給予我們啟發(fā),”她解釋說。“一旦人們開始對某個問題實施測量時，就更傾向于采取行動來解決它們，因為沒有人愿意排到名單的最低端去。”讓大數據開始競賽吧。

推薦學習書籍
《CDA一級教材》在線電子版正式上線CDA網校，為你提供系統(tǒng)、實用、前沿的學習資源，助你輕松邁入數據分析的大門！

免費加入閱讀：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0