CDA數(shù)據(jù)分析研究院原創(chuàng)作品

一、大數(shù)據(jù)概念

大數(shù)據(jù)（big data），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

二、大數(shù)據(jù)的特點

1）Volume（大量）：

截至目前，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB，而歷史上全人類總共說過的話的數(shù)據(jù)量大約是5EB。當(dāng)前，典型個人計算機硬盤的容量為TB量級，而一些大企業(yè)的數(shù)據(jù)量已經(jīng)接近EB量級。

2）Velocity（高速）：

這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘的最顯著特征。根據(jù)IDC的“數(shù)字宇宙”的報告，預(yù)計到2020年，全球數(shù)據(jù)使用量將達(dá)到35.2ZB。在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命。

天貓雙十一：2016年6分58秒，天貓交易額超過100億

3）Variety（多樣）：

這種類型的多樣性也讓數(shù)據(jù)被分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。相對于以往便于存儲的以數(shù)據(jù)庫/文本為主的結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)越來越多，包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等，這些多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高要求。

訂單數(shù)據(jù)：

4）Value（低價值密度）：

價值密度的高低與數(shù)據(jù)總量的大小成反比。比如，在一天監(jiān)控視頻中，我們只關(guān)心小偷偷盜的片刻，如何快速對有價值數(shù)據(jù)“提純”成為目前大數(shù)據(jù)背景下待解決的難題。

三 大數(shù)據(jù)應(yīng)用

1）O2O：百度大數(shù)據(jù)+平臺通過先進(jìn)的線上線下打通技術(shù)和客流分析能力，助力商家精細(xì)化運營，提升銷量。

2）零售：探索用戶價值，提供個性化服務(wù)解決方案；貫穿網(wǎng)絡(luò)與實體零售，攜手創(chuàng)造極致體驗。經(jīng)典案例，子尿布+啤酒。

3）旅游：深度結(jié)合百度獨有大數(shù)據(jù)能力與旅游行業(yè)需求，共建旅游產(chǎn)業(yè)智慧管理、智慧服務(wù)和智慧營銷的未來。

4）商品廣告推薦：給用戶推薦訪問過的商品廣告類型

5） 房產(chǎn)：大數(shù)據(jù)全面助力房地產(chǎn)行業(yè)，打造精準(zhǔn)投策與營銷，選出更合適的地，建造更合適的樓，賣給更合適的人。

6）保險：海量數(shù)據(jù)挖掘及風(fēng)險預(yù)測，助力保險行業(yè)精準(zhǔn)營銷，提升精細(xì)化定價能力。

7）金融：多維度體現(xiàn)用戶特征，幫助金融機構(gòu)推薦優(yōu)質(zhì)客戶，防范欺詐風(fēng)險。

8）移動聯(lián)通&移動聯(lián)通：根據(jù)用戶年齡、職業(yè)、消費情況，分析統(tǒng)計哪種套餐適合哪類人群。對市場人群精準(zhǔn)定制。

9）人工智能

四 常用大數(shù)據(jù)分析技術(shù)

常見的大數(shù)據(jù)分析技術(shù)主要由以下幾部分構(gòu)成：

分布式的文件系統(tǒng)存儲海量的非結(jié)構(gòu)化數(shù)據(jù)（例如：hdfs等）

分布式的離線計算系統(tǒng)，對業(yè)務(wù)數(shù)據(jù)批量處理。（例如：mapreduce等）

分布式的實時計算系統(tǒng)，實時對業(yè)務(wù)數(shù)據(jù)進(jìn)行處理（例如：sparkStreaming、storm、flink等）

分布式的結(jié)構(gòu)化數(shù)據(jù)分析工具（例如：hive等）

分布式的數(shù)據(jù)庫（例如：hbase等）

完整的大數(shù)據(jù)平臺往往還要跟業(yè)務(wù)系統(tǒng)整合起來為用戶提供服務(wù)。