
數(shù)據(jù)收集或比數(shù)據(jù)挖掘更有意義
按照今天信息技術(shù)的發(fā)達程度,數(shù)據(jù)收集看起來很容易。一個攝像頭每天收集多少信息?空間跑著那么多衛(wèi)星,它們每天收集多少信息?好像不用愁沒有信息。而數(shù)據(jù)挖掘要從繁雜的信息中尋找知識,就很困難了。但是,事情可能不是那么簡單。在某些情況下,數(shù)據(jù)收集可能比數(shù)據(jù)挖掘更難、更有意義。
不竟想起所謂“費米悖論(Fermi Paradox)”.1950年的一天,諾貝爾獎獲得者、物理學家費米在和別人討論飛碟及外星人問題時,突然冒出一句:“如果有外星人,他們?yōu)槭裁礇]在這里?”這句看似簡單的問話,就是著名的“費米悖論”.如果認為在如此廣闊的宇宙中(上百億光年的空間,約700萬億億顆恒星),在如此漫長的時間里(100億~160億年),全宇宙總共只誕生了太陽系的地球這唯一的文明,這聽起來無論如何總是極端武斷的。那么,總該有一個兩個外星文明被我們發(fā)現(xiàn),或到地球來訪問過了吧?為什么它們至今仍然是沉默的呢?人類能用100萬年的時間飛往銀河系各個星球,那么,外星人只要比人類早進化100萬年,現(xiàn)在就應該來到地球了。迄今為止,仍然缺乏任何被科學共同體接受的證據(jù),能夠證明地外文明的存在;另一方面,科學共同體也無法提出任何令人信服的證據(jù),能夠證明外星文明不存在,這就使得“費米悖論”成為一個極端開放的問題
我們學偏微分方程的時候,總是要先論證某一類方程解的存在性。知道解的存在,才能去求解??墒牵磺蟪鼋鈦?,怎么知道解是存在的呢?這就是一個悖論。對存在的數(shù)據(jù)集應用算法過去是產(chǎn)生新發(fā)現(xiàn)的有效方法,而現(xiàn)在新知識可以使用可用的材料資源創(chuàng)造財富,比累積新資源更有效。過去,生物學家,天文學家和宇宙學家從歷史數(shù)據(jù)中找發(fā)現(xiàn),考古學家艱難地去挖掘。現(xiàn)在,他們可以重建所有的廢墟和人工制品,從衛(wèi)星和航拍圖像偵察到的表面跟蹤想象出來。研究(Research)就真成了重新搜索(Re-Search)。
聯(lián)想到馬航MH370失聯(lián)事件。2014年3月8日凌晨1時20分,由馬來西亞吉隆坡飛往中國北京的馬來西亞航空公司MH370航班與地面失去聯(lián)系,機上239人中有154名中國籍乘客。此事已經(jīng)過去35天,先后26個國家參加搜索,出動幾百架次飛機和軍艦、商船,花費超過5000萬美元。先說在南海,折騰了10多天一無所獲;有人根據(jù)衛(wèi)星圖像說是在吉爾吉斯西北部的塔拉斯州州府以南約30公里處的山谷里;后來又說是在印度洋;反復折騰,試圖收集MH370的數(shù)據(jù),但是,至今沒找到。按理說,有關(guān)的數(shù)據(jù)多的是,即使是這35天的衛(wèi)星數(shù)據(jù)、搜索飛機得到的數(shù)據(jù),不可謂不大,不管你怎么去挖掘這些數(shù)據(jù),你也得不到任何MH370的數(shù)據(jù)。這個例子說明,在某些情況下,數(shù)據(jù)收集比數(shù)據(jù)挖掘更難、更有意義,因為這種數(shù)據(jù)收集就是發(fā)現(xiàn)。新聞聯(lián)播每天都播MH370搜索的消息。新聞聯(lián)播1分鐘值多少錢?做過廣告的公司也許知道,反正很貴。也許會說,那是因為機上有154名同胞??墒牵瑖鴥?nèi)死人的事天天有,怎么沒花這么多的筆墨?這問題很復雜。即使黑匣子找到了,各國都有自己的秘密,只能用各國都能接受的方式做報道。所以,這里的數(shù)據(jù)分析是和政治有關(guān)的,甚至說,數(shù)據(jù)收集的過程也與政治有關(guān)。不要認為,大數(shù)據(jù)能解決一切。而在數(shù)據(jù)收集中,硬件技術(shù)不可缺少。我們國家在硬件技術(shù)和生產(chǎn)方面應該承認差距,加強研究、制造和發(fā)展。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓練與驗證損失驟升:機器學習訓練中的異常診斷與解決方案 在機器學習模型訓練過程中,“損失曲線” 是反映模型學習狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預期算子的內(nèi)涵、作用與應用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應用 在數(shù)據(jù)分析與統(tǒng)計學領(lǐng)域,假設檢驗是驗證研究假設、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務系統(tǒng)落地過程中,“業(yè)務邏輯” 是連接 “需求設計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11