
大數(shù)據(jù)匹配農(nóng)業(yè)生產(chǎn)與流通_數(shù)據(jù)分析師考試
“農(nóng)產(chǎn)品產(chǎn)量不少,消費(fèi)量也不少,但是為什么價(jià)格忽高忽低?產(chǎn)量與消費(fèi)量如何匹配?”
三年前,正是從這個(gè)問(wèn)題出發(fā),中國(guó)農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所(以下簡(jiǎn)稱(chēng)農(nóng)科院信息所)所長(zhǎng)許世衛(wèi)組織研究團(tuán)隊(duì)開(kāi)始對(duì)“基于物聯(lián)網(wǎng)技術(shù)的農(nóng)業(yè)智能信息系統(tǒng)與服務(wù)平臺(tái)”項(xiàng)目進(jìn)行攻關(guān)。
近日,這項(xiàng)由科技部立項(xiàng)、農(nóng)業(yè)部牽頭組織、由許世衛(wèi)擔(dān)任首席科學(xué)家的“十二五”國(guó)家科技支撐計(jì)劃項(xiàng)目順利通過(guò)了驗(yàn)收。7月17日,科技部網(wǎng)站以“‘互聯(lián)網(wǎng)+’和物聯(lián)網(wǎng)助力傳統(tǒng)農(nóng)業(yè)升級(jí)”為切入點(diǎn)報(bào)道了這項(xiàng)研究成果。
該項(xiàng)目涵蓋了現(xiàn)代農(nóng)業(yè)的生產(chǎn)、農(nóng)資、市場(chǎng)、倉(cāng)儲(chǔ)、管理等關(guān)鍵環(huán)節(jié),由全國(guó)13家單位180多位研究人員歷時(shí)3年共同完成。
作為國(guó)家農(nóng)業(yè)信息化研究領(lǐng)域的“國(guó)家隊(duì)”,農(nóng)科院信息所承擔(dān)了項(xiàng)目的子課題之一 ——農(nóng)業(yè)生產(chǎn)與市場(chǎng)流通匹配管理及信息服務(wù)關(guān)鍵技術(shù)研究與示范的研究任務(wù)。
課題的研究要解決什么問(wèn)題?有哪些創(chuàng)新與成果?近日,《中國(guó)科學(xué)報(bào)》記者就該課題進(jìn)展和相關(guān)成果采訪了項(xiàng)目首席科學(xué)家許世衛(wèi)研究員。
創(chuàng)新農(nóng)產(chǎn)品數(shù)據(jù)預(yù)處理技術(shù)
“農(nóng)產(chǎn)品從生產(chǎn)到流通再到消費(fèi),既是物質(zhì)流,也是信息流。”許世衛(wèi)告訴《中國(guó)科學(xué)報(bào)》記者。
信息及時(shí)準(zhǔn)確的監(jiān)測(cè)對(duì)于農(nóng)產(chǎn)品市場(chǎng)的正常運(yùn)行至關(guān)重要。然而,近些年,我國(guó)農(nóng)產(chǎn)品市場(chǎng)上價(jià)格暴漲或暴跌的情形并不鮮見(jiàn)。這一方面使農(nóng)民的利益蒙受損失,另一方面,也讓管理調(diào)控部門(mén)頭疼不已。
如何才能提高市場(chǎng)信息監(jiān)測(cè)預(yù)警的準(zhǔn)確率?在許世衛(wèi)看來(lái),準(zhǔn)確的基礎(chǔ)數(shù)據(jù)是關(guān)鍵?!叭绻钤嫉臄?shù)據(jù)有誤差,那么結(jié)論也很可能會(huì)出問(wèn)題。”
研究農(nóng)業(yè)生產(chǎn)與市場(chǎng)流通的匹配管理,恰恰就需要即時(shí)采集準(zhǔn)確的動(dòng)態(tài)數(shù)據(jù)。那么,準(zhǔn)確的信息又從何而來(lái)呢?
“信息的獲取方式一是傳統(tǒng)人工方式,二是現(xiàn)代信息技術(shù)手段,還有一種是把兩者結(jié)合”,許世衛(wèi)告訴記者,在他們的研究中,就利用了這樣的工具——“農(nóng)信采”,這是農(nóng)科院信息所研究團(tuán)隊(duì)與清華大學(xué)等高校、科研院所聯(lián)合,歷時(shí)多年攻關(guān)研制出的農(nóng)產(chǎn)品市場(chǎng)信息采集利器。
這種只有手機(jī)大小的設(shè)備,卻能解決信息采集中的大問(wèn)題,尤其當(dāng)前農(nóng)業(yè)信息采集中的標(biāo)準(zhǔn)化與時(shí)效性問(wèn)題。
“以蘋(píng)果為例,雖然賣(mài)的都是蘋(píng)果,但是品種、大小、品質(zhì)等具體信息都不一樣,如果只統(tǒng)計(jì)蘋(píng)果的價(jià)格,就解讀不出精確的信息。”許世衛(wèi)說(shuō)。而農(nóng)信采植入農(nóng)業(yè)部行業(yè)標(biāo)準(zhǔn),對(duì)品種進(jìn)行了細(xì)化;采用了GPS空間信息匹配、無(wú)線傳輸?shù)燃夹g(shù),將市場(chǎng)、品種、價(jià)格等信息即時(shí)傳到后臺(tái),實(shí)現(xiàn)農(nóng)產(chǎn)品流通環(huán)節(jié)信息的及時(shí)輸送。
尤其是針對(duì)農(nóng)信采獲取的數(shù)據(jù)與已有的海量農(nóng)產(chǎn)品市場(chǎng)數(shù)據(jù)的融合問(wèn)題,團(tuán)隊(duì)創(chuàng)新了農(nóng)產(chǎn)品市場(chǎng)數(shù)據(jù)預(yù)處理技術(shù),建立數(shù)據(jù)清理優(yōu)化模型,識(shí)別數(shù)據(jù)采集中遇到的數(shù)據(jù)缺失與噪聲,從而自動(dòng)模擬缺失數(shù)據(jù)、清除異常數(shù)據(jù)與糾正錯(cuò)誤數(shù)據(jù)。設(shè)備通過(guò)科學(xué)界定農(nóng)產(chǎn)品種類(lèi)、規(guī)范信息流程、預(yù)設(shè)信息誤差提醒等對(duì)農(nóng)產(chǎn)品市場(chǎng)信息采集進(jìn)行了革命性提升。
該技術(shù)被廣泛應(yīng)用到市場(chǎng)信息采集工作中,先后在天津、河北、福建、廣東、海南等11個(gè)省市,針對(duì)田頭市場(chǎng)、批發(fā)市場(chǎng)、零售市場(chǎng),選擇糧食、蔬菜、水果、油料、肉類(lèi)、蛋類(lèi)、奶類(lèi)和水產(chǎn)品8大類(lèi)主要農(nóng)產(chǎn)品的市場(chǎng)信息采集開(kāi)展了推廣應(yīng)用。
研究農(nóng)產(chǎn)品市場(chǎng)產(chǎn)銷(xiāo)匹配管理
在夯實(shí)了數(shù)據(jù)基礎(chǔ)之后,研究團(tuán)隊(duì)針對(duì)鮮活農(nóng)產(chǎn)品產(chǎn)銷(xiāo)匹配難度大、市場(chǎng)波動(dòng)強(qiáng)等問(wèn)題,對(duì)農(nóng)產(chǎn)品市場(chǎng)產(chǎn)銷(xiāo)匹配管理評(píng)價(jià)進(jìn)行了研究。
經(jīng)過(guò)資料統(tǒng)計(jì)和親自調(diào)研,研究人員決定選取北京市、上海市和重慶市等基礎(chǔ)數(shù)據(jù)比較完備的城市日常消費(fèi)的若干主要蔬菜為研究對(duì)象,構(gòu)建了生產(chǎn)與市場(chǎng)流通匹配管理評(píng)價(jià)模型。
他們選擇運(yùn)用灰色關(guān)聯(lián)度、核密度估計(jì)等分析方法,分別從蔬菜生產(chǎn)、消費(fèi)的數(shù)量、品種、時(shí)間、空間多個(gè)角度,構(gòu)建了蔬菜生產(chǎn)與市場(chǎng)流通匹配管理評(píng)價(jià)模型,對(duì)各大城市蔬菜生產(chǎn)與流通消費(fèi)的匹配情況進(jìn)行了全面評(píng)估,重點(diǎn)分析了當(dāng)前我國(guó)蔬菜產(chǎn)地轉(zhuǎn)換、流通方式情況,對(duì)蔬菜產(chǎn)地銷(xiāo)地之間的運(yùn)輸時(shí)間、交通狀況、運(yùn)輸成本以及季節(jié)性匹配等問(wèn)題進(jìn)行了深入探討。
同時(shí),研究團(tuán)隊(duì)還完成了區(qū)域農(nóng)產(chǎn)品不同種類(lèi)消費(fèi)量預(yù)測(cè)研究,突破區(qū)域農(nóng)產(chǎn)品供需預(yù)測(cè)技術(shù)。 研究主要從產(chǎn)品的消費(fèi)類(lèi)型、不同農(nóng)產(chǎn)品消費(fèi)之間的互補(bǔ)替代關(guān)系,以及地區(qū)差異等3個(gè)方面進(jìn)行了創(chuàng)新的分析和預(yù)測(cè),將多種農(nóng)產(chǎn)品的消費(fèi)需求放在統(tǒng)一的分析框架下進(jìn)行分析,從而實(shí)現(xiàn)了中國(guó)31個(gè)省區(qū)各種農(nóng)產(chǎn)品的具體消費(fèi)需求情況研究。
在多領(lǐng)域取得突破
“我們這個(gè)課題又分為5個(gè)小課題,每個(gè)課題都有5名以上高級(jí)職稱(chēng)人員組成的研究團(tuán)隊(duì)?!痹S世衛(wèi)告訴《中國(guó)科學(xué)報(bào)》記者,項(xiàng)目研究的內(nèi)容非常豐富。
歷時(shí)3年的研究中,信息所的研究團(tuán)隊(duì)在匹配管理評(píng)估研究、農(nóng)業(yè)生產(chǎn)極值監(jiān)測(cè)預(yù)警技術(shù)研究、農(nóng)產(chǎn)品市場(chǎng)流通感知與信息處理研究、跨平臺(tái)匹配管理決策分析系統(tǒng)研制、農(nóng)產(chǎn)品產(chǎn)銷(xiāo)全程服務(wù)平臺(tái)開(kāi)發(fā)研究等方面均取得了多項(xiàng)成果。
以匹配管理評(píng)估研究為例,研究團(tuán)隊(duì)對(duì)農(nóng)產(chǎn)品市場(chǎng)全息信息規(guī)范表達(dá)與編碼技術(shù)進(jìn)行了研究。團(tuán)隊(duì)提出了畜產(chǎn)品全息信息處理技術(shù),依據(jù)已有相關(guān)統(tǒng)計(jì)信息指標(biāo)體系及標(biāo)準(zhǔn)規(guī)范,構(gòu)建了畜禽產(chǎn)品、畜牧業(yè)管理機(jī)構(gòu)和草原建設(shè)利用統(tǒng)計(jì)指標(biāo)體系?;谠摌?biāo)準(zhǔn),可以進(jìn)行數(shù)字化傳輸與智能化處理,大大提高了原有指標(biāo)體系所收集信息的完備性和兼容性。
許世衛(wèi)表示,下一階段他們的研究成果和技術(shù)能夠更大范圍地推廣應(yīng)用,在已取得的成績(jī)的基礎(chǔ)上,努力提高技術(shù)先進(jìn)性與設(shè)備的實(shí)用性。
背景閱讀
“基于物聯(lián)網(wǎng)技術(shù)的農(nóng)業(yè)智能信息系統(tǒng)與服務(wù)平臺(tái)”項(xiàng)目包括超大規(guī)模精準(zhǔn)化農(nóng)業(yè)核心業(yè)務(wù)集成應(yīng)用平臺(tái)及關(guān)鍵性設(shè)備與系統(tǒng)研究、農(nóng)資管理與流通智能信息平臺(tái)研究與應(yīng)用示范,糧棉倉(cāng)儲(chǔ)特征監(jiān)測(cè)安全與質(zhì)量管理關(guān)鍵技術(shù)及系統(tǒng)應(yīng)用示范、農(nóng)業(yè)生產(chǎn)與市場(chǎng)流通匹配管理及信息服務(wù)關(guān)鍵技術(shù)研究與示范等4個(gè)課題。由中國(guó)農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所、中國(guó)科學(xué)院合肥物質(zhì)科學(xué)研究院、中國(guó)科學(xué)院遙感應(yīng)用研究所、合浦果香園食品有限公司等13家科研院校、高新企業(yè)單位承擔(dān)。
項(xiàng)目取得了多項(xiàng)創(chuàng)新性技術(shù)成果:突破了移動(dòng)應(yīng)用程序(App)與電子地圖集成病蟲(chóng)害快速響應(yīng)系統(tǒng)的關(guān)鍵技術(shù),建立了自然災(zāi)害預(yù)警與歷史分析系統(tǒng);制定了《農(nóng)資商品電子代碼標(biāo)準(zhǔn)》;研發(fā)了糧棉倉(cāng)密度與體積、溫度與水分、蟲(chóng)害等傳感器及組網(wǎng)技術(shù),開(kāi)發(fā)完成了糧棉倉(cāng)儲(chǔ)特征檢測(cè)信息的安全傳輸、數(shù)據(jù)庫(kù)管理及其信息分析預(yù)測(cè)預(yù)警平臺(tái);提出了畜產(chǎn)品全息信息編碼方案,突破了農(nóng)業(yè)生產(chǎn)極值監(jiān)測(cè)預(yù)警技術(shù)、農(nóng)產(chǎn)品市場(chǎng)流通感知與信息處理技術(shù)。獲得實(shí)用新型專(zhuān)利授權(quán)3項(xiàng),申請(qǐng)專(zhuān)利28項(xiàng),獲得計(jì)算機(jī)軟件著作權(quán)37項(xiàng)。
數(shù)據(jù)分析咨詢(xún)請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
訓(xùn)練與驗(yàn)證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過(guò)程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類(lèi)核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對(duì)數(shù)據(jù)的需求已從 “存儲(chǔ)” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計(jì)基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計(jì)基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語(yǔ)言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢(xún)效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開(kāi)的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開(kāi)始提取前,需先判斷 TIF 文件的類(lèi)型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專(zhuān)業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專(zhuān)業(yè)操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開(kāi)發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶(hù)體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷(xiāo)案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷(xiāo)成為企業(yè)突圍的核心方 ...
2025-09-11