
連物聯網數據都理不清楚還怎么搞大數據分析
物聯網的數據有哪些特點?有沒有合理化的分類方式?我們有沒有應對物聯網數據帶來的壓力和挑戰(zhàn)的能力?物聯網1.0階段有價值的數據有哪些?本文旨在給你提供一些方法論和啟示。
數據即價值是目前計算機領域極其推崇的觀念。數據無論多少都被歸結為大數據,數據分析越來越熱門,資本也對貼有大數據標簽的公司趨之若鶩。數據如同流動的數字貨幣一樣被一再的評估、追崇。
當物聯網在行業(yè)開始落地和應用后,由于其數據產生的速度之快,種類之多,體量之巨大都會對現有云端技術架構、數據處理方式帶來超乎想象的壓力和挑戰(zhàn)。
面對如此復雜的數據,傳說中的 “數據即價值”將被 “有價值的數據”這一理性的認識所打破。
物聯網的數據有哪些特點?有沒有合理化的分類方式?我們有沒有應對物聯網數據帶來的壓力和挑戰(zhàn)的能力?物聯網1.0階段有價值的數據有哪些?
靜態(tài)數據與動態(tài)數據
單從數據的變化上來說,物聯網數據可以分為靜態(tài)數據和動態(tài)數據,靜態(tài)數據多為標簽類,地址類數據,RFID產生的數據多為靜態(tài)數據,靜態(tài)數據多以結構性、關系型數據庫存儲;動態(tài)數據是以時間為序列的數據,物聯網動態(tài)數據的特點是每個數據都與時間有一一對應關系,并且這種關系在數據處理中尤其重要,這類數據存儲通常采用時序數據庫方式存儲。
靜態(tài)數據會隨著傳感器的增多,控制設備數量的增多而增加;動態(tài)數據不僅隨設備數量,傳感器數量增加而增加,還會隨時間的增加而增加。
無論靜態(tài)數據還是動態(tài)數據,在物聯網1.0階段數據的增長是線性的,并非是指數級的,但是因為物聯網動態(tài)數據是連續(xù)不間斷的,因此數據的量也是海量的。因此物聯網1.0階段數據的壓力是可控的,并不是如宣傳的那樣不可數,不可控。
能源類/資產屬性類/診斷類/信號類
就數據的原始特性來說,我們可以把物聯網數據分為能源類數據、資產屬性類數據、診斷類數據、信號類數據。
能源類數據:是指可以能耗相關的,或者是計算能耗所需的相關數據例如電流、電壓、功率因子、頻率、諧波等等。能源數據是物聯網最關鍵的數據類型,物聯網最終的目的之一就是節(jié)能,那么獲取能源數據,理解能源數據,分析能源數據是物聯網實施中必須的功能。能源采集設備也是物聯網重要的設備之一。
資產屬性類數據:資產類數據通常指硬件資產數據比如設備的規(guī)格、參數等屬性,設備的位置信息,設備之間的從屬關系等等。資產類數據主要用于資產管理,資產管理是工業(yè)物聯網非常重要的功能甚至可以作為獨立的系統(tǒng)研究,因為它可以和ERP系統(tǒng)、MES系統(tǒng)、物流等幾乎所有的系統(tǒng)對接。
診斷類數據:診斷類數據是指設備運行過程中檢測設備運行狀態(tài)的數據,診斷類數據可以有兩類:一類為設備運行參數,例如設備輸入/輸出值,這里通常為傳統(tǒng)工業(yè)自動化類數據即OT技術相關類數據;另外一類為設備外圍診斷數據,例如設備的表面溫度、設備噪音、設備震動等等,值得提出的是外圍診斷才是物聯網技術體現的地方它包括新型傳感器技術和物聯網通訊技術。外圍診斷數據是預測性維護的重要的元數據,也為深度控制模型提供依據,因此診斷類數據是我們需要著重關注的數據類型。
信號類數據:信號類數據或者告警類數據是目前工業(yè)領域使用最普及的數據,因為其直觀、易懂、關鍵,同時在本地、遠程同時告知。信號類數據容易被忽略,但是它是物聯網所需要的、也是快速可以采集到、并對物聯網系統(tǒng)提供重要參考價值的數據之一。
數據之間的關聯性
數據之間的關聯性是不同數據之間的關系,數據之間的關系對了解整個系統(tǒng)的運行有著最直接的影響,數據之間的正確關系的梳理是系統(tǒng)有效運行,產生價值的基石。
數據之間的關聯性可以從下面幾個方面分析:
時間關聯性:即同一時刻的數據照相,數據是同一時刻系統(tǒng)產生的,它反映的是系統(tǒng)這一時刻的狀態(tài),從數據世界角度看,這個系統(tǒng)就是這一時刻的數據集合。數據照相體現的是系統(tǒng)靜態(tài)展示;時間戳是這類數據關鍵的因素,因此要求各個數據獲取的時間戳必須相同,時間戳是目前很多數據所缺失的,也是物聯網實施中需要關注和解決的問題之一。
流程關聯性:即一個點的數據進過一定時間后影響第二個點數據的產生,它體現的是系統(tǒng)動態(tài)的流程展示。數據之間的流程關系性需要模型提供,并在實施中進行修正。
數據的時效性
數據的時效性是指數據產生到其被清除的時間,數據時效性是由系統(tǒng)的實施部署所決定。數據可以被使用多次也可以被使用一次后就可以被清除??傮w來說遠程部署數據還是邊緣部署數據影響著數據的時效性,通常邊緣部署的數據時效性短,遠程數據的時效性長。邊緣部署需要的數據通常及時性強,但是邊緣存儲空間,計算能力弱因此不能長期保存;遠程數據通常為歷史性數據展示、計算分析,同時云端空間、計算的伸縮性強,因此數據時效性長。
數據的實時性也是數據時效性的一部分,實時性和數據的部署位置,數據的重要性以及傳輸方式都有關聯性。
以數據為中心的物聯網設計方法論
總結物聯網中的各類數據及特性或者抽象其通用性的目的是為了更好的選擇不同的物聯網技術進行快速、有效的實施。以數據為中心的物聯網解決方案甚至商業(yè)模式將會是物聯網的主流設計思想。
下文將從數據如何采集,數據如何預處理、數據如何傳輸等不同的角度進行分析如何應用物聯網的各種技術。
以數據流向為核心的設計思路
從數據流向來設計包括:數據采集、數據匯聚、數據傳輸、數據持久化、數據展示、數據處理、數據矯正、數據消費。
以數據生產/消費的為核心的設計思路
生產/消費為核心的設計思路多以云端業(yè)務為中心,尤其整合現有各個分散子系統(tǒng)為目標或者產業(yè)鏈上下游的協(xié)同操作,物聯網的數據多以關鍵數據指標類型為主或者為起始數據角色。
1)下面為供應鏈的數據流設計思路。
2)下面為綜合管理系統(tǒng)設計
了解物聯網數據是什么,并能夠提出相應的物聯網技術,掌握有價值的數據是物聯網方案技術層面的第一步。同樣也是物聯網技術最終的具象單元——“有價值的數據”。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數的日期轉換:從基礎用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數據處理中,日期格式轉換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關聯查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數據庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數據分析師:表結構數據 “獲取 - 加工 - 使用” 全流程的賦能者 表結構數據(如數據庫表、Excel 表、CSV 文件)是企業(yè)數字 ...
2025-09-18DSGE 模型中的 Et:理性預期算子的內涵、作用與應用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數據分析師:解鎖表結構數據特征價值的專業(yè)核心 表結構數據(以 “行 - 列” 規(guī)范存儲的結構化數據,如數據庫表、Excel 表、 ...
2025-09-17Excel 導入數據含缺失值?詳解 dropna 函數的功能與實戰(zhàn)應用 在用 Python(如 pandas 庫)處理 Excel 數據時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應用 在數據分析與統(tǒng)計學領域,假設檢驗是驗證研究假設、判斷數據差異是否 “ ...
2025-09-16CDA 數據分析師:掌控表格結構數據全功能周期的專業(yè)操盤手 表格結構數據(以 “行 - 列” 存儲的結構化數據,如 Excel 表、數據 ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網絡請求開發(fā)時(如使用requests ...
2025-09-15CDA 數據分析師:激活表格結構數據價值的核心操盤手 表格結構數據(如 Excel 表格、數據庫表)是企業(yè)最基礎、最核心的數據形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調用、數據爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數據的科學計數法問題 為幫助 Python 數據從業(yè)者解決pd.read_csv讀取長浮點數據時的科學計數法問題 ...
2025-09-12CDA 數據分析師:業(yè)務數據分析步驟的落地者與價值優(yōu)化者 業(yè)務數據分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務邏輯:從規(guī)則拆解到數據把關的實戰(zhàn)指南 在業(yè)務系統(tǒng)落地過程中,“業(yè)務邏輯” 是連接 “需求設計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數據驅動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數據分析師與戰(zhàn)略 / 業(yè)務數據分析:概念辨析與協(xié)同價值 在數據驅動決策的體系中,“戰(zhàn)略數據分析”“業(yè)務數據分析” 是企業(yè) ...
2025-09-11Excel 數據聚類分析:從操作實踐到業(yè)務價值挖掘 在數據分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數據中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數據解讀到決策支撐的價值導向 統(tǒng)計模型作為數據分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10