何為大數(shù)據(jù)

唐太宗說過：以銅為鑒，可以正衣冠，以人為鑒，可以明事理，以史為鑒，可以知興替。說白了，大數(shù)據(jù)就是借鑒曾經(jīng)的甚至正在進行的價值信息，來對需求進行優(yōu)化和處理。而這里的優(yōu)化和處理分析就用到了我們所說的大數(shù)據(jù)。

知己知彼，百戰(zhàn)不殆。

什么是大數(shù)據(jù)呢？

特點：靈活性，時效性，易用性。

1,數(shù)據(jù)的收集和準備(Flume,Sqoop),2,數(shù)據(jù)的存儲(HDFS,Hbase),3,數(shù)據(jù)的資源管理(YARN),4,計算框架(MapReduce,Spark),5,數(shù)據(jù)的分析(R),6,數(shù)據(jù)的展示(D3).

從技術上來說，大數(shù)據(jù)就是，根據(jù)自己的需求，從互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、企業(yè)等抓取出各種大量的結(jié)構化數(shù)據(jù)（DB），半結(jié)構化（文件），和非結(jié)化的數(shù)據(jù)（文件），其中也會含有各種實時流數(shù)據(jù)（日志）。這些數(shù)據(jù)通過sqoop2組件存儲到HDFS中，這里的sqoop組件在這里是：提取數(shù)據(jù)的作用。

HDFS是我們這個大數(shù)據(jù)的一個總存儲，有著類似“系統(tǒng)”的作用，他可以分為多個Namenode和和datanode組合。Namenode中存儲著這些數(shù)據(jù)的元數(shù)據(jù)，而各種需求數(shù)據(jù)實際存儲在各個的datanode中。所以在從HDFS中提取數(shù)據(jù)時都會詢問namenode得到數(shù)據(jù)位置后再去datanode中取數(shù)據(jù)。其中會需要HDFS中專門的組件。

得到我們需求的數(shù)據(jù)后，我們要處理這些數(shù)據(jù)，為了高效處理和資源的充分利用，我們用到了YARN這個組件，YARN得到用戶作業(yè)后，告訴其中的一個“司令官”（RM），司令官詢問“參謀官”（AM）HDFS哪個節(jié)點上有空閑場地來進行工作，參謀官找到空閑場地后，生成一個NM節(jié)點，也就是作業(yè)場地進行工作。期間RM和AM都會根據(jù)需求進行場地的協(xié)調(diào)。

有了場地，我們就可以處理這些數(shù)據(jù)，這就用到了MapReduce或者Spark等計算框架，這里我們講一下MapReduce，他分為Map和Reduce。Map用來把信息根據(jù)需求劃分提取出來，Reduce再把提取出來的需求信息整合到一起。因為需求不同，我們的計算框架也是不同的。

得到上一步中提取的需求數(shù)據(jù)，我們就會對數(shù)據(jù)進行分析處理。此刻我們用到了R這個組件進行數(shù)據(jù)分析，分析后得到一些結(jié)果

得到的結(jié)果再用R進行數(shù)據(jù)展示。

比如一個物流公司：

貴公司中的物流信息正需要大數(shù)據(jù)來進行優(yōu)化，根據(jù)大數(shù)據(jù)來處理：車貨匹配、運輸線路分析、銷售預測與庫存、供應鏈協(xié)同管理等?？梢杂行У臑橘F公司提高效益，帶來方便，減少損失。

比如，我見過某快遞公司門前很多運送車輛，兩三天配不上貨也是正常的事，放在那浪費資源。如果用到我們的大數(shù)據(jù)來分析，全國哪些地方網(wǎng)上購物量大，需求車輛多或者少，這樣我們就知道那個地方放幾輛車合適。這樣就會實現(xiàn)車貨的高效匹配。甚至還可以有效解決公共信息平臺上沒有貨源或貨源信息虛假。

我們知道了各個地方對各個貨物需求量的信息后，就會把需求的貨物量運送過去，這又用到了大數(shù)據(jù)分析，大數(shù)據(jù)分析出最短化、最優(yōu)化的運輸路線。這樣節(jié)省了時間，就會運輸更多的貨物。運輸過程中，每個車輛零件都會有一定的壽命，根據(jù)分析，我們就會設備修理預測，進行防御性的修理。如果沒有我們的分析，就會造成延誤和再裝載的負擔，并消耗大量的人力、物力。

把貨物運過去后，根據(jù)貨物量，就會對庫存結(jié)構和降低庫存存儲成本。

需求預測、庫存計劃、資源配置、設備管理、渠道優(yōu)化、生產(chǎn)作業(yè)計劃、物料需求與采購計劃，供應鏈協(xié)同管理。

訂單、產(chǎn)能、調(diào)度、庫存和成本間的關系，需要大量的數(shù)學模型、優(yōu)化和模擬技術