如何做商品信息數(shù)據(jù)分析和展現(xiàn)？

商品價(jià)格和人們生活息息相關(guān)，比如農(nóng)產(chǎn)品價(jià)格波動(dòng)不僅會(huì)對(duì)農(nóng)民收入和農(nóng)民生產(chǎn)積極性產(chǎn)生直接影響，更關(guān)乎百姓的日常生活和切身利益。經(jīng)?？葱侣効吹睫r(nóng)民辛苦了一個(gè)季度的農(nóng)作物全都爛在地里，因?yàn)閮r(jià)格太低廉，或者沒有銷路。雖然說物價(jià)波動(dòng)是一種正常的經(jīng)濟(jì)現(xiàn)象，但是在一定程度上物價(jià)穩(wěn)，人心才穩(wěn)，社會(huì)才穩(wěn)。為保持經(jīng)濟(jì)平穩(wěn)健康發(fā)展、保障群眾生活，穩(wěn)定物價(jià)，信息公開顯得尤為重要。價(jià)格監(jiān)測(cè)和預(yù)測(cè)是維持物價(jià)穩(wěn)定的一個(gè)重要環(huán)節(jié)。而對(duì)于商品價(jià)格、產(chǎn)量、以及銷路、銷量等數(shù)據(jù)公開，建立產(chǎn)品價(jià)格分析、監(jiān)測(cè)、預(yù)測(cè)平臺(tái)可以為相關(guān)政府管理部門提供生產(chǎn)調(diào)控、決策分析的依據(jù)，成為農(nóng)門種植的依據(jù)，避免盲目種植。國家也有譬如南菜北運(yùn)、西果東送等等政策但是數(shù)據(jù)實(shí)時(shí)公開，友好的向全國人民展示我認(rèn)為還有很大的提升空間。

實(shí)現(xiàn)過程：

針對(duì)從價(jià)格信息網(wǎng)抓取來的數(shù)據(jù)利用eclipse工作平臺(tái)開發(fā)出了商品信息數(shù)據(jù)分析及展現(xiàn)系統(tǒng)，實(shí)現(xiàn)了價(jià)格展示、價(jià)格分析、價(jià)格預(yù)測(cè)、居民消費(fèi)指數(shù)分析、商品流通情況以及作物主要產(chǎn)地及產(chǎn)量的展示。價(jià)格分析包括價(jià)格走勢(shì)、價(jià)格對(duì)比（市場(chǎng)之間對(duì)比）、價(jià)格展示（各省對(duì)比）。價(jià)格預(yù)測(cè)最后采用基于時(shí)間序列的神經(jīng)網(wǎng)絡(luò)算法做了初步短期價(jià)格預(yù)測(cè)。居民消費(fèi)指數(shù)CPI作為反映消費(fèi)者支付商品和勞務(wù)的價(jià)格變化情況，也是一種度量通貨膨脹水平的工具，主要包括同比環(huán)比及其漲跌情況、CPI構(gòu)成比例以及各省月度CPI展示等。

分析結(jié)果以帶有時(shí)間軸的折線圖、柱狀圖、地圖熱力圖、餅狀圖形式展示，界面美觀，和用戶交互性強(qiáng)，簡單易懂。

一、數(shù)據(jù)獲取

獲取方式：

針對(duì)數(shù)據(jù)來源網(wǎng)站信息大多有規(guī)律的更新，但網(wǎng)頁數(shù)據(jù)結(jié)構(gòu)保持不變，使用的方式有兩種：

1.使用Excel工具抓取

1)通過Excel從網(wǎng)頁導(dǎo)入數(shù)據(jù)，選中自己要導(dǎo)入的數(shù)據(jù)。

2)新建宏，重復(fù)上步操作

3)觀察數(shù)據(jù)發(fā)布的網(wǎng)頁地址規(guī)律，修改宏代碼

（使用該方法的好處是可用Excel對(duì)獲取來的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理）

2.使用RCurl爬蟲

（方便對(duì)抓回來的數(shù)據(jù)用R直接對(duì)數(shù)據(jù)進(jìn)行相關(guān)分析計(jì)算）

數(shù)據(jù)處理：

因?yàn)楦鞣N原因，價(jià)格信息網(wǎng)提供的商品價(jià)格信息有數(shù)據(jù)單位不統(tǒng)一、商品名稱不規(guī)范、市場(chǎng)名稱前后不一、缺失值等等問題。經(jīng)過對(duì)這些數(shù)據(jù)的分析和總結(jié)，對(duì)數(shù)據(jù)進(jìn)行了統(tǒng)一商品名稱格式、規(guī)范市場(chǎng)名稱、規(guī)范數(shù)據(jù)單位、去重和缺失值5方面的處理。

存儲(chǔ)方式：

將處理好的數(shù)據(jù)，建好表結(jié)構(gòu)存儲(chǔ)到mysql數(shù)據(jù)庫中。

二、數(shù)據(jù)展現(xiàn)

展現(xiàn)方式：使用Echarts在網(wǎng)頁顯示。

展現(xiàn)內(nèi)容：

1． 價(jià)格分析

① 價(jià)格走勢(shì)：

這里主要展示的是將爬取來的每日商品價(jià)格數(shù)據(jù)按商品類型取平均值（右側(cè)圖例選擇要查看的商品類型），做曲線圖。通過下面時(shí)間軸拖動(dòng)、拉長查看某一范圍內(nèi)的價(jià)格走勢(shì)；也可通過區(qū)域縮放按鈕查看某一段曲線的詳細(xì)走勢(shì)。

② 價(jià)格對(duì)比：

針對(duì)從濰坊物價(jià)信息網(wǎng)獲取來的數(shù)據(jù)，根據(jù)價(jià)格采集地點(diǎn)進(jìn)行價(jià)格對(duì)比。大體分為兩類：超市價(jià)格和集市價(jià)格。以柱狀圖的方式可直觀的看出某天某種商品在不同地點(diǎn)的價(jià)格高低情況。如要查看2014-08-01的價(jià)格對(duì)比情況。

效果展示如下：

鼠標(biāo)移動(dòng)切換標(biāo)簽展示集市商品價(jià)格對(duì)比。

③ 全國商品價(jià)格

在地圖上，以熱力圖的形式展現(xiàn)全國各省某種商品價(jià)格的高低。鼠標(biāo)懸停顯示具體價(jià)格信息。

此外，可以具體到某省下的各市價(jià)格展示：

繼續(xù)往下深入，具體到某市下各區(qū)、鎮(zhèn)價(jià)格展示（以濰坊市為例）：

2.居民消費(fèi)指數(shù)

CPI (Consumer price index) 居民消費(fèi)指數(shù),反應(yīng)通貨膨脹或者緊縮的程度，一般來講，物價(jià)全面的持續(xù)的上漲就會(huì)被認(rèn)為發(fā)生的通貨膨脹。

① 同比環(huán)比（數(shù)據(jù)來自濰坊物價(jià)信息網(wǎng)）

可選擇查看整體CPI漲跌情況，或者影響CPI八大類中某一類CPI漲跌情況。

如選擇食品類，還可繼續(xù)查看食品類下的具體漲跌情況

效果展示如下：下方為時(shí)間軸，可以選擇相關(guān)年份查看

② CPI比例

用餅狀圖的方式可直觀展現(xiàn)八大類及其分類對(duì)整體CPI的構(gòu)成影響。下方為時(shí)間軸，展現(xiàn)不同時(shí)間段的構(gòu)成比例。

③ 各省月度CPI（下方為時(shí)間軸，可以選擇年月份查看）

3.商品流通情況

國家有南菜北運(yùn)、西果東送的政策，友好的相關(guān)信息展示，為合理分配資源開辟市場(chǎng)提供相關(guān)決策依據(jù)。

效果展示如下：

4.各農(nóng)作物主要產(chǎn)地

鼠標(biāo)懸停顯示產(chǎn)地產(chǎn)量信息。

效果展示如下：

5.價(jià)格預(yù)測(cè)

主要包含兩部分：1 .價(jià)格預(yù)警 2.商品價(jià)格預(yù)測(cè)

價(jià)格預(yù)警：采用Ajax技術(shù)每隔一小時(shí)自動(dòng)刷新屬于，紅色為預(yù)警標(biāo)識(shí)。

計(jì)算上一周價(jià)格移動(dòng)平均值，和當(dāng)前價(jià)格做差，漲跌絕對(duì)值大于0.5紅色箭頭標(biāo)識(shí)預(yù)警。

效果展示如下：

商品價(jià)格預(yù)測(cè)（以大白菜價(jià)格為例）：

虛線為預(yù)測(cè)價(jià)格，實(shí)線為實(shí)際價(jià)格

三、數(shù)據(jù)預(yù)測(cè)

預(yù)測(cè)工具：rapidminer

數(shù)據(jù)來源：濰坊物價(jià)信息網(wǎng)

實(shí)現(xiàn)算法：基于時(shí)間序列神經(jīng)網(wǎng)絡(luò)的短期價(jià)格預(yù)測(cè)

實(shí)現(xiàn)過程：

（以大白菜價(jià)格為例）

訓(xùn)練集：選取2013-2014內(nèi)大白菜的價(jià)格。

測(cè)試集：抽取1/3作為測(cè)試集。

預(yù)測(cè)模型：方案有兩種一是采用支持向量機(jī)SVM，二是采用神經(jīng)網(wǎng)絡(luò)，下面對(duì)兩種模型進(jìn)行評(píng)估。

指數(shù)平滑和移動(dòng)平均

模型如下：

首先使用支持向量機(jī)進(jìn)行移動(dòng)平均和指數(shù)平滑的計(jì)算（這里窗口大小設(shè)為5，alpha設(shè)為0.8）

部分結(jié)果如下：

折線圖如下：

可以看出移動(dòng)平均線和本期實(shí)際價(jià)格有一定誤差，而指數(shù)平滑出來的價(jià)格exponential_smoothing(本期價(jià)格)和本期價(jià)格基本重合，而趨勢(shì)線（trend藍(lán)線）效果不是很好。

再使用神經(jīng)網(wǎng)絡(luò)進(jìn)行移動(dòng)平均和指數(shù)平滑的計(jì)算（參數(shù)設(shè)置如上）

部分結(jié)果如下：

折線圖如下：

可以看出時(shí)間序列幾何平均法（average）和本期價(jià)格誤差不大，而指數(shù)平滑exponential_smoothing基本和本期價(jià)格一致。趨勢(shì)線基本符合價(jià)格漲跌情況，在14年4月出現(xiàn)了大幅度上升，這樣就能發(fā)現(xiàn)價(jià)格異常的產(chǎn)品，從而對(duì)其價(jià)格預(yù)警。

為了評(píng)估模型預(yù)測(cè)的精度，加入時(shí)間序列包中Validation 操作符,并設(shè)定好相關(guān)參數(shù)。

Validation 操作符內(nèi)部需要放置某種算法，這里采用支持向量機(jī) SVM：

預(yù)測(cè)精度：

下面再采用神經(jīng)網(wǎng)絡(luò)Neural Net 比較一下預(yù)測(cè)精度：

預(yù)測(cè)精度：

可以看出采用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)精度高一些，所以下面采用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行模型訓(xùn)練及預(yù)測(cè)。

這里窗口大小設(shè)為5

模型如下：

預(yù)測(cè)結(jié)果如下：

紅色線為實(shí)際價(jià)格 ，藍(lán)色線為預(yù)測(cè)價(jià)格。

從圖中可以看出，預(yù)測(cè)價(jià)格基本還行。

不足與展望：

因?yàn)闀r(shí)間和能力有限，作品本身還有很大的提升空間。比如數(shù)據(jù)抓取和處理沒有實(shí)現(xiàn)完全自動(dòng)化。數(shù)據(jù)預(yù)測(cè)因素單一，需要收集更多的數(shù)據(jù)來進(jìn)一步產(chǎn)品價(jià)格預(yù)測(cè)精度，及時(shí)發(fā)現(xiàn)價(jià)格異常的農(nóng)產(chǎn)品。商品價(jià)格波動(dòng)的主導(dǎo)因素很復(fù)雜，像供需關(guān)系、生產(chǎn)成本、自然條件、科技發(fā)展、運(yùn)輸存儲(chǔ)、國家政策、自然災(zāi)害等都是造成價(jià)格波動(dòng)的主導(dǎo)因素。這也為提高商品價(jià)格預(yù)測(cè)的精度帶來了很多困難。如何有效、準(zhǔn)確的預(yù)測(cè)商品價(jià)格還需要繼續(xù)學(xué)習(xí)和研究。

自己對(duì)物價(jià)這方面的研究很有興趣，因?yàn)樗腿藗兊纳钕⑾⑾嚓P(guān)，一方面對(duì)農(nóng)民收入和農(nóng)民積極性產(chǎn)生直接影響，另一方面又關(guān)乎我們每一個(gè)人的日常生活和切身利益。物價(jià)過高，漲速過快，就會(huì)造成百姓生活壓力過大、心里不安影響人們的幸福度。所以，促公開，推進(jìn)信息價(jià)格透明化是一項(xiàng)很有意義的工作。穩(wěn)定高效的商品智能分析系統(tǒng)可以增強(qiáng)相關(guān)部門決策的科學(xué)性、針對(duì)性和及時(shí)性，希望自己能夠通過進(jìn)一步的努力更加完善。