
物聯(lián)網(wǎng)下:大數(shù)據(jù)屬于誰
在之前一些文章中,我已經(jīng)警告過一些組織機構(gòu)機構(gòu)可能很快就會遭遇數(shù)據(jù)問題——被鎖定、趕出或以其他方式禁止訪問,以有助于優(yōu)化未來業(yè)務(wù)的關(guān)鍵新數(shù)據(jù)源的可能性。
雖然我相信每個數(shù)據(jù)驅(qū)動的組織機構(gòu)現(xiàn)在就應(yīng)該開始規(guī)劃,以避免最終導(dǎo)致數(shù)據(jù)不足的問題,但這一擔(dān)憂只是新的大數(shù)據(jù)、物聯(lián)網(wǎng)(IoT)世界中出現(xiàn)的很多潛在的數(shù)據(jù)問題之一。事實上,獲得正確數(shù)據(jù)的問題將變得更為重要,因為我預(yù)測今后將出現(xiàn)一個新的戰(zhàn)略數(shù)據(jù)支持規(guī)則和流程,不僅僅是管理和保護有價值數(shù)據(jù),而且還要確保擁有公司可能需要的所有必要和有效數(shù)據(jù),以保持競爭力。
除了避免數(shù)據(jù)不足之外,數(shù)據(jù)支持意味著IT還需要考慮如何管理和解決數(shù)據(jù)隱私與真實性中的關(guān)鍵問題。在這個時代分析中正確使用數(shù)據(jù)的深入討論尚在填補空白,且仍然未確定,但IT需要為未來幾年出現(xiàn)的任何數(shù)據(jù)政策作好準備。
真?zhèn)芜€是隱私?
許多人深入探索數(shù)據(jù)隱私,對于如何最好地平衡數(shù)據(jù)共享的個人、組織機構(gòu)或社會效益或者在公共數(shù)據(jù)和私人數(shù)據(jù)之間畫上紅線,我沒有任何直接的建議。但是,如果我們從大多數(shù)組織機構(gòu)的角度來看待隱私,那么第一個要求就是要達到規(guī)定個人資料控制的法規(guī)和合規(guī)。這將包括病歷、工資和其他人力資源數(shù)據(jù)。然而,許多商業(yè)組織機構(gòu)保留訪問、管理、使用和分享系統(tǒng)中任何東西的權(quán)利,還包括由員工存儲或創(chuàng)建的任何數(shù)據(jù),除非其得到特別保護。
如果從事運輸業(yè)務(wù),使用來自包裹和卡車上的GPS和其他傳感器數(shù)據(jù)。這看似公平,畢竟卡車司機知道他們的雇主正在監(jiān)控他們的進展和駕駛習(xí)慣。但是當(dāng)組織機構(gòu)追蹤與IoT設(shè)備的互動時會發(fā)生什么?
許多人正在努力使GPS在室內(nèi)進行工作,表面上作為使用WiFi設(shè)備和其他設(shè)備的公共服務(wù)來幫助三角測量手持設(shè)備的位置,而實際上為的是實時定位人群,并繪制詳細藍圖。
在購物中心,這個跟蹤細節(jié)從使購物者進入的商店時開始,針對性地展示的廣告和優(yōu)惠以促進交易。業(yè)務(wù)環(huán)境中的這些數(shù)據(jù)可能會告訴雇主誰在旁邊,以及使用者在線查看的時間、收到的電話等等。我們的私人時間是不是也在監(jiān)控中呢?更不用說這種方式來監(jiān)控閑暇時間——浴室休息和自動售貨機前的選擇……但是,如果存在安全風(fēng)險,這些數(shù)據(jù)就可能會被取出來分析,或者如果你買了個糖果棒,可以根據(jù)數(shù)據(jù)進行健康指導(dǎo)調(diào)整,而一旦有數(shù)據(jù)存在,就意味著數(shù)據(jù)可能會泄漏或被盜。
誠然,通過聚合和匿名識別這些數(shù)據(jù)中的信息,有辦法確保一些基本的隱私。但是,我們已經(jīng)知道真正匿名的大數(shù)據(jù)是非常困難的。累積的物聯(lián)網(wǎng)數(shù)據(jù)可以容易地包含可以與公共數(shù)據(jù)集相關(guān)聯(lián)的深入嵌入的線索,以此恢復(fù)識別信息。
想像你的汽車報告大部分夜晚停在哪里?;蛘咂囍械闹悄懿考梢栽谧詈笠淮尉S修或升級時跟蹤。制造離合器的業(yè)務(wù)可以了解汽車所有者的家庭住址,從而了解他們的身份,以及其旅行模式和駕駛習(xí)慣。
數(shù)據(jù)定義你
問題不在于您的恒溫器被黑客入侵,或者烤面包機通過家庭防火墻幫助了攻擊者們。更深層次的問題是由機器學(xué)習(xí)算法進行分析,遠遠超出了您購買的最近供應(yīng)商和品牌。想象一下,由于您的電動牙刷最近沒有安裝新刷頭,因此必須支付20%-50%保險費。您可能會因為如何加熱或冷卻房子而被標記某些政治概況。您可能被設(shè)定為高風(fēng)險貸款,因為每周選擇多少次與烤面包和百吉餅有一定關(guān)聯(lián)。 今天,一些供應(yīng)鏈已經(jīng)推動嵌入式監(jiān)控和主動維護,甚至關(guān)聯(lián)組件來支撐其分析鏈。
沃爾瑪,為供應(yīng)商提供了一些銷售上的透明度,以換取供應(yīng)商在店內(nèi)維護自己的庫存。這似乎很好,因為我們買了傳統(tǒng)商品,一旦我們把它們帶回家,就沒有對我們進行跟蹤。但現(xiàn)在,新智能設(shè)備可以保持連續(xù)連接并將數(shù)據(jù)上傳到第三方服務(wù)上。誰知道不知不覺中產(chǎn)生了多少和我們有關(guān)的大數(shù)據(jù)?
異常強大的大數(shù)據(jù)存儲和分析功能,來自物聯(lián)網(wǎng)的低級別數(shù)據(jù)實時流量,越來越多的AI和深度學(xué)習(xí),持久性存儲器和升級的芯片嵌入式功能(比如加密)已經(jīng)擺在面前。由于IT團隊的任務(wù)是對任何新功能進行操作,因此他們應(yīng)該記住,建立可支持細粒度數(shù)據(jù)管理的、面向未來的可擴展架構(gòu)至關(guān)重要。
我希望組織機構(gòu)能發(fā)現(xiàn)他們需要創(chuàng)建、存儲和使用比今天更多的元數(shù)據(jù)。此元數(shù)據(jù)可能包括有關(guān)數(shù)據(jù)使用和訪問時間、監(jiān)管鏈和出處鏈接的信息、加密標簽、來源可信度、關(guān)于可用性的評估,當(dāng)然也包括通常保留項,敏感性、可訪問性與其他監(jiān)管問題的策略標簽。而且,元數(shù)據(jù)本身就是數(shù)據(jù),并且具有自己的訪問、隱私和真實性要求,這些需求將遞歸地傳遞給元數(shù)據(jù)?,F(xiàn)在令人頭疼的時期即將發(fā)生。
此外,我敢打賭,未來的數(shù)據(jù)管理產(chǎn)品將會采用微服務(wù),在更接近數(shù)據(jù)存儲的地方實現(xiàn)數(shù)據(jù)管理和元數(shù)據(jù)增強功能。在具有設(shè)備級持久存儲器和無定形混合云的大型分布式IoT數(shù)據(jù)世界中,重要數(shù)據(jù)可能存在于任何地方,并以敏捷而流暢的方式流動。事實上,有些人預(yù)測重要數(shù)據(jù)不僅將只在流中生成,而且只能通過處理和持久性以流形式存在。
如何在任何時候都能運行,如何管理和保證數(shù)據(jù)的完整性?那么一來,任何元數(shù)據(jù)(特別是關(guān)于隱私、訪問和真實性)將不得不隨著數(shù)據(jù)傳播。一個有趣的新興技術(shù)是區(qū)塊鏈,它已被用作一些新應(yīng)用程序中的元數(shù)據(jù),通過數(shù)字簽名幫助確保應(yīng)用程序數(shù)據(jù)的來源。 元數(shù)據(jù)管理功能還需要靠近數(shù)據(jù),無論它在哪里,無論去哪里。今天,我們發(fā)現(xiàn)新出現(xiàn)的存儲產(chǎn)品支持嵌入式“l(fā)ambda功能”,其中實際存儲層(如具有事件觸發(fā)存儲過程的數(shù)據(jù)庫)現(xiàn)在可以直接在存儲層中執(zhí)行任意(包括用戶定義)函數(shù)到存儲的數(shù)據(jù)(和元數(shù)據(jù))。
可能需要一段時間才能打造一個積極的、由智能、數(shù)據(jù)和元數(shù)據(jù)感知存儲的新世界??赡苓€需要更多的新功能來幫助解決這些問題。例如,由于所有數(shù)據(jù)都與所有其他數(shù)據(jù)相關(guān),在某種程度上,最佳的未來管理視圖可能是通過圖形化元數(shù)據(jù)庫。然而,IT仍然具有相關(guān)性,我們必須準備好應(yīng)對這些新的挑戰(zhàn),使數(shù)據(jù)中心現(xiàn)代化。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03