
大數(shù)據(jù)匹配農(nóng)業(yè)生產(chǎn)與流通_數(shù)據(jù)分析師考試
“農(nóng)產(chǎn)品產(chǎn)量不少,消費量也不少,但是為什么價格忽高忽低?產(chǎn)量與消費量如何匹配?”
三年前,正是從這個問題出發(fā),中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所(以下簡稱農(nóng)科院信息所)所長許世衛(wèi)組織研究團(tuán)隊開始對“基于物聯(lián)網(wǎng)技術(shù)的農(nóng)業(yè)智能信息系統(tǒng)與服務(wù)平臺”項目進(jìn)行攻關(guān)。
近日,這項由科技部立項、農(nóng)業(yè)部牽頭組織、由許世衛(wèi)擔(dān)任首席科學(xué)家的“十二五”國家科技支撐計劃項目順利通過了驗收。7月17日,科技部網(wǎng)站以“‘互聯(lián)網(wǎng)+’和物聯(lián)網(wǎng)助力傳統(tǒng)農(nóng)業(yè)升級”為切入點報道了這項研究成果。
該項目涵蓋了現(xiàn)代農(nóng)業(yè)的生產(chǎn)、農(nóng)資、市場、倉儲、管理等關(guān)鍵環(huán)節(jié),由全國13家單位180多位研究人員歷時3年共同完成。
作為國家農(nóng)業(yè)信息化研究領(lǐng)域的“國家隊”,農(nóng)科院信息所承擔(dān)了項目的子課題之一 ——農(nóng)業(yè)生產(chǎn)與市場流通匹配管理及信息服務(wù)關(guān)鍵技術(shù)研究與示范的研究任務(wù)。
課題的研究要解決什么問題?有哪些創(chuàng)新與成果?近日,《中國科學(xué)報》記者就該課題進(jìn)展和相關(guān)成果采訪了項目首席科學(xué)家許世衛(wèi)研究員。
創(chuàng)新農(nóng)產(chǎn)品數(shù)據(jù)預(yù)處理技術(shù)
“農(nóng)產(chǎn)品從生產(chǎn)到流通再到消費,既是物質(zhì)流,也是信息流?!痹S世衛(wèi)告訴《中國科學(xué)報》記者。
信息及時準(zhǔn)確的監(jiān)測對于農(nóng)產(chǎn)品市場的正常運行至關(guān)重要。然而,近些年,我國農(nóng)產(chǎn)品市場上價格暴漲或暴跌的情形并不鮮見。這一方面使農(nóng)民的利益蒙受損失,另一方面,也讓管理調(diào)控部門頭疼不已。
如何才能提高市場信息監(jiān)測預(yù)警的準(zhǔn)確率?在許世衛(wèi)看來,準(zhǔn)確的基礎(chǔ)數(shù)據(jù)是關(guān)鍵。“如果最原始的數(shù)據(jù)有誤差,那么結(jié)論也很可能會出問題?!?/span>
研究農(nóng)業(yè)生產(chǎn)與市場流通的匹配管理,恰恰就需要即時采集準(zhǔn)確的動態(tài)數(shù)據(jù)。那么,準(zhǔn)確的信息又從何而來呢?
“信息的獲取方式一是傳統(tǒng)人工方式,二是現(xiàn)代信息技術(shù)手段,還有一種是把兩者結(jié)合”,許世衛(wèi)告訴記者,在他們的研究中,就利用了這樣的工具——“農(nóng)信采”,這是農(nóng)科院信息所研究團(tuán)隊與清華大學(xué)等高校、科研院所聯(lián)合,歷時多年攻關(guān)研制出的農(nóng)產(chǎn)品市場信息采集利器。
這種只有手機大小的設(shè)備,卻能解決信息采集中的大問題,尤其當(dāng)前農(nóng)業(yè)信息采集中的標(biāo)準(zhǔn)化與時效性問題。
“以蘋果為例,雖然賣的都是蘋果,但是品種、大小、品質(zhì)等具體信息都不一樣,如果只統(tǒng)計蘋果的價格,就解讀不出精確的信息?!痹S世衛(wèi)說。而農(nóng)信采植入農(nóng)業(yè)部行業(yè)標(biāo)準(zhǔn),對品種進(jìn)行了細(xì)化;采用了GPS空間信息匹配、無線傳輸?shù)燃夹g(shù),將市場、品種、價格等信息即時傳到后臺,實現(xiàn)農(nóng)產(chǎn)品流通環(huán)節(jié)信息的及時輸送。
尤其是針對農(nóng)信采獲取的數(shù)據(jù)與已有的海量農(nóng)產(chǎn)品市場數(shù)據(jù)的融合問題,團(tuán)隊創(chuàng)新了農(nóng)產(chǎn)品市場數(shù)據(jù)預(yù)處理技術(shù),建立數(shù)據(jù)清理優(yōu)化模型,識別數(shù)據(jù)采集中遇到的數(shù)據(jù)缺失與噪聲,從而自動模擬缺失數(shù)據(jù)、清除異常數(shù)據(jù)與糾正錯誤數(shù)據(jù)。設(shè)備通過科學(xué)界定農(nóng)產(chǎn)品種類、規(guī)范信息流程、預(yù)設(shè)信息誤差提醒等對農(nóng)產(chǎn)品市場信息采集進(jìn)行了革命性提升。
該技術(shù)被廣泛應(yīng)用到市場信息采集工作中,先后在天津、河北、福建、廣東、海南等11個省市,針對田頭市場、批發(fā)市場、零售市場,選擇糧食、蔬菜、水果、油料、肉類、蛋類、奶類和水產(chǎn)品8大類主要農(nóng)產(chǎn)品的市場信息采集開展了推廣應(yīng)用。
研究農(nóng)產(chǎn)品市場產(chǎn)銷匹配管理
在夯實了數(shù)據(jù)基礎(chǔ)之后,研究團(tuán)隊針對鮮活農(nóng)產(chǎn)品產(chǎn)銷匹配難度大、市場波動強等問題,對農(nóng)產(chǎn)品市場產(chǎn)銷匹配管理評價進(jìn)行了研究。
經(jīng)過資料統(tǒng)計和親自調(diào)研,研究人員決定選取北京市、上海市和重慶市等基礎(chǔ)數(shù)據(jù)比較完備的城市日常消費的若干主要蔬菜為研究對象,構(gòu)建了生產(chǎn)與市場流通匹配管理評價模型。
他們選擇運用灰色關(guān)聯(lián)度、核密度估計等分析方法,分別從蔬菜生產(chǎn)、消費的數(shù)量、品種、時間、空間多個角度,構(gòu)建了蔬菜生產(chǎn)與市場流通匹配管理評價模型,對各大城市蔬菜生產(chǎn)與流通消費的匹配情況進(jìn)行了全面評估,重點分析了當(dāng)前我國蔬菜產(chǎn)地轉(zhuǎn)換、流通方式情況,對蔬菜產(chǎn)地銷地之間的運輸時間、交通狀況、運輸成本以及季節(jié)性匹配等問題進(jìn)行了深入探討。
同時,研究團(tuán)隊還完成了區(qū)域農(nóng)產(chǎn)品不同種類消費量預(yù)測研究,突破區(qū)域農(nóng)產(chǎn)品供需預(yù)測技術(shù)。 研究主要從產(chǎn)品的消費類型、不同農(nóng)產(chǎn)品消費之間的互補替代關(guān)系,以及地區(qū)差異等3個方面進(jìn)行了創(chuàng)新的分析和預(yù)測,將多種農(nóng)產(chǎn)品的消費需求放在統(tǒng)一的分析框架下進(jìn)行分析,從而實現(xiàn)了中國31個省區(qū)各種農(nóng)產(chǎn)品的具體消費需求情況研究。
在多領(lǐng)域取得突破
“我們這個課題又分為5個小課題,每個課題都有5名以上高級職稱人員組成的研究團(tuán)隊?!痹S世衛(wèi)告訴《中國科學(xué)報》記者,項目研究的內(nèi)容非常豐富。
歷時3年的研究中,信息所的研究團(tuán)隊在匹配管理評估研究、農(nóng)業(yè)生產(chǎn)極值監(jiān)測預(yù)警技術(shù)研究、農(nóng)產(chǎn)品市場流通感知與信息處理研究、跨平臺匹配管理決策分析系統(tǒng)研制、農(nóng)產(chǎn)品產(chǎn)銷全程服務(wù)平臺開發(fā)研究等方面均取得了多項成果。
以匹配管理評估研究為例,研究團(tuán)隊對農(nóng)產(chǎn)品市場全息信息規(guī)范表達(dá)與編碼技術(shù)進(jìn)行了研究。團(tuán)隊提出了畜產(chǎn)品全息信息處理技術(shù),依據(jù)已有相關(guān)統(tǒng)計信息指標(biāo)體系及標(biāo)準(zhǔn)規(guī)范,構(gòu)建了畜禽產(chǎn)品、畜牧業(yè)管理機構(gòu)和草原建設(shè)利用統(tǒng)計指標(biāo)體系?;谠摌?biāo)準(zhǔn),可以進(jìn)行數(shù)字化傳輸與智能化處理,大大提高了原有指標(biāo)體系所收集信息的完備性和兼容性。
許世衛(wèi)表示,下一階段他們的研究成果和技術(shù)能夠更大范圍地推廣應(yīng)用,在已取得的成績的基礎(chǔ)上,努力提高技術(shù)先進(jìn)性與設(shè)備的實用性。
背景閱讀
“基于物聯(lián)網(wǎng)技術(shù)的農(nóng)業(yè)智能信息系統(tǒng)與服務(wù)平臺”項目包括超大規(guī)模精準(zhǔn)化農(nóng)業(yè)核心業(yè)務(wù)集成應(yīng)用平臺及關(guān)鍵性設(shè)備與系統(tǒng)研究、農(nóng)資管理與流通智能信息平臺研究與應(yīng)用示范,糧棉倉儲特征監(jiān)測安全與質(zhì)量管理關(guān)鍵技術(shù)及系統(tǒng)應(yīng)用示范、農(nóng)業(yè)生產(chǎn)與市場流通匹配管理及信息服務(wù)關(guān)鍵技術(shù)研究與示范等4個課題。由中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所、中國科學(xué)院合肥物質(zhì)科學(xué)研究院、中國科學(xué)院遙感應(yīng)用研究所、合浦果香園食品有限公司等13家科研院校、高新企業(yè)單位承擔(dān)。
項目取得了多項創(chuàng)新性技術(shù)成果:突破了移動應(yīng)用程序(App)與電子地圖集成病蟲害快速響應(yīng)系統(tǒng)的關(guān)鍵技術(shù),建立了自然災(zāi)害預(yù)警與歷史分析系統(tǒng);制定了《農(nóng)資商品電子代碼標(biāo)準(zhǔn)》;研發(fā)了糧棉倉密度與體積、溫度與水分、蟲害等傳感器及組網(wǎng)技術(shù),開發(fā)完成了糧棉倉儲特征檢測信息的安全傳輸、數(shù)據(jù)庫管理及其信息分析預(yù)測預(yù)警平臺;提出了畜產(chǎn)品全息信息編碼方案,突破了農(nóng)業(yè)生產(chǎn)極值監(jiān)測預(yù)警技術(shù)、農(nóng)產(chǎn)品市場流通感知與信息處理技術(shù)。獲得實用新型專利授權(quán)3項,申請專利28項,獲得計算機軟件著作權(quán)37項。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
2025被稱為“AI元年”,而AI,與數(shù)據(jù)密不可分。網(wǎng)易公司創(chuàng)始人丁磊在《AI思維:從數(shù)據(jù)中創(chuàng)造價值的煉金術(shù)》一書中指出:AI思維, ...
2025-07-17數(shù)據(jù)分析師的技能圖譜:從數(shù)據(jù)到價值的橋梁? 在數(shù)據(jù)驅(qū)動決策的時代,數(shù)據(jù)分析師如同 “數(shù)據(jù)翻譯官”,將冰冷的數(shù)字轉(zhuǎn)化為清晰的 ...
2025-07-17Pandas 寫入指定行數(shù)據(jù):數(shù)據(jù)精細(xì)化管理的核心技能? 在數(shù)據(jù)處理的日常工作中,我們常常需要面對這樣的場景:在龐大的數(shù)據(jù)集里精 ...
2025-07-17解碼 CDA:數(shù)據(jù)時代的通行證? 在數(shù)字化浪潮席卷全球的今天,當(dāng)企業(yè)決策者盯著屏幕上跳動的數(shù)據(jù)曲線尋找增長密碼,當(dāng)科研人員在 ...
2025-07-17CDA 精益業(yè)務(wù)數(shù)據(jù)分析:數(shù)據(jù)驅(qū)動業(yè)務(wù)增長的實戰(zhàn)方法論 在企業(yè)數(shù)字化轉(zhuǎn)型的浪潮中,“數(shù)據(jù)分析” 已從 “加分項” 成為 “必修課 ...
2025-07-16MySQL 中 ADD KEY 與 ADD INDEX 詳解:用法、差異與優(yōu)化實踐 在 MySQL 數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計中,索引是提升查詢性能的核心手段。無論 ...
2025-07-16解析 MySQL Update 語句中 “query end” 狀態(tài):含義、成因與優(yōu)化指南? 在 MySQL 數(shù)據(jù)庫的日常運維與開發(fā)中,開發(fā)者和 DBA 常會 ...
2025-07-16如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價值、驅(qū)動決策的 ...
2025-07-15CDA 精益業(yè)務(wù)數(shù)據(jù)分析:驅(qū)動企業(yè)高效決策的核心引擎? 在數(shù)字經(jīng)濟(jì)時代,企業(yè)面臨著前所未有的數(shù)據(jù)洪流,如何從海量數(shù)據(jù)中提取有 ...
2025-07-15MySQL 無外鍵關(guān)聯(lián)表的 JOIN 實戰(zhàn):數(shù)據(jù)整合的靈活之道? 在 MySQL 數(shù)據(jù)庫的日常操作中,我們經(jīng)常會遇到需要整合多張表數(shù)據(jù)的場景 ...
2025-07-15Python Pandas:數(shù)據(jù)科學(xué)的瑞士軍刀? ? 在數(shù)據(jù)驅(qū)動的時代,面對海量、復(fù)雜的數(shù)據(jù),如何高效地進(jìn)行處理、分析和挖掘成為關(guān)鍵。 ...
2025-07-15用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯改字段或誤執(zhí)行批量更新等問題時有發(fā)生。 ...
2025-07-14t檢驗與Wilcoxon檢驗的選擇:何時用t.test,何時用wilcox.test? t 檢驗與 Wilcoxon 檢驗的選擇:何時用 t.test,何時用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時代職業(yè)生涯的鑰匙(深度研究報告、發(fā)展指導(dǎo)白皮書) 發(fā)布機構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10