
大數(shù)據(jù)(Big Data)仿佛一夜之間風靡全球,既宣告了一個時代的到來又顯然成了一個時代的標志。其實大數(shù)據(jù)時代的到來是發(fā)展的必然。大數(shù)據(jù)就是海量數(shù)據(jù)、巨量資料,指的是所涉及的數(shù)據(jù)量、資料量規(guī)模巨大到無法透過目前主流軟件工具,在合理時間內(nèi)達到擷取、管理、處理、并整理成為特定目的服務的資訊。
正如維克托•邁爾舍-恩伯格及肯尼斯•庫克耶編寫的暢銷著作《大數(shù)據(jù)時代》中所說的:大數(shù)據(jù)不是用隨機分析法(抽樣調(diào)查)這樣的捷徑,而采用所有數(shù)據(jù)的方法。因而,大數(shù)據(jù)具有的4V特點:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。隨著信息技術(shù)的發(fā)展,尤其是“互聯(lián)網(wǎng)時代,社交網(wǎng)絡、電子商務與移動通信把人類社會帶入了一個以“PB”(1024TB)為單位的結(jié)構(gòu)與非結(jié)構(gòu)數(shù)據(jù)信息的新時代”。 所以,在許多場景,大數(shù)據(jù)甚至通常就是用來形容大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)在下載到關系型數(shù)據(jù)庫用于分析時會花費高昂的成本,而且難以實現(xiàn)預期目標。面對如此龐雜的數(shù)據(jù)和信息,傳統(tǒng)的計算機的處理能力實際上也難以滿足。
因此從另外一個角度來看,正是運算方法和運算能力的發(fā)展到了云計算的階段才使得大數(shù)據(jù)的分析使用成為可能?!耙?a href='/map/yunjisuan/' style='color:#000;font-size:inherit;'>云計算為基礎的信息存儲、分享和挖掘手段,可以便宜、有效地將這些大量、高速、多變化的終端數(shù)據(jù)存儲下來,并隨時進行分析和計算?!?a href='/map/yunjisuan/' style='color:#000;font-size:inherit;'>云計算是繼1980年代大型計算機到客戶端-服務器的大轉(zhuǎn)變之后的又一巨變。“數(shù)據(jù),這個21世紀人類探索的新邊疆,正在被云計算發(fā)現(xiàn)、征服?!?/span>而智能交通系統(tǒng)(ITS)作為未來交通系統(tǒng)的發(fā)展方向,其本身就是將先進的信息技術(shù)、數(shù)據(jù)通訊傳輸技術(shù)、電子傳感技術(shù)、控制技術(shù)及計算機技術(shù)等有效地集成運用于交通管理之中,從而建立一種在大范圍內(nèi)、全方位發(fā)揮作用的,實時、準確、高效的綜合交通運輸管理系統(tǒng)。ITS綜合了交通工程、信息工程,通信技術(shù)、控制工程、計算機技術(shù)等眾多科學領域的成果,可以有效地利用現(xiàn)有交通設施、減少交通負荷和環(huán)境污染、保證交通安全、提高運輸效率。而它的關鍵支撐就在于新一代的信息技術(shù):移動通信、寬帶網(wǎng)、RFID、傳感器、云計算必然是智能交通的核心元素。
智能交通發(fā)展至今,各地采集的數(shù)據(jù)浩如煙海,存在巨大的潛力和價值,亟待處理和挖掘。不容置疑,隨著大數(shù)據(jù)時代的到來,智能交通也必然會產(chǎn)生重大變化,也將面臨重要的發(fā)展機遇,智能交通產(chǎn)業(yè)發(fā)展也將迎來新的機遇。年初,在北京召開的2014中國智能交通行業(yè)發(fā)展趨勢分析會上,業(yè)界對大數(shù)據(jù)在智能交通行業(yè)的運用趨勢進行了分析判斷。準確把握大數(shù)據(jù)時代的特征,深入分析對智能交通的影響和作用,對于在新的高度和起點上改善我國的交通狀況有著非常重要的意義。
如何看待大數(shù)據(jù)與智能交通的關系
既然時代潮流不可阻擋,那么我們該怎樣認識大數(shù)據(jù)以及大數(shù)據(jù)與智能交通的關系呢?大數(shù)據(jù)只是一次簡單的技術(shù)革新還是手段的升級換代呢,還是根本意義上的變革革命呢?前面對于大數(shù)據(jù)產(chǎn)生背景已經(jīng)說到,大數(shù)據(jù)與云計算密切相關。大數(shù)據(jù)必然無法用單臺的計算機進行處理,即使一般的網(wǎng)絡計算能力也難以達到,必須采用分布式計算架構(gòu)。它的特色在于對海量數(shù)據(jù)的挖掘,必須依托云計算的分布式處理、分布式數(shù)據(jù)庫、云存儲或虛擬化技術(shù)。
從技術(shù)上看,大數(shù)據(jù)與云計算的關系就像一枚硬幣的正反面一樣密不可分。也有學者認為大數(shù)據(jù)與云計算是一個問題的兩面:一個是問題,一個是解決問題的方法。無論是從技術(shù)層面看,還從方法論意義上說,筆者認為大數(shù)據(jù)的出現(xiàn)都具有美國科學哲學家托馬斯•庫恩在其《科學革命的結(jié)構(gòu)》中確立的范式和范式轉(zhuǎn)換的意味。范式,是指在一個時代里人們對事物具有支配地位的看法。特別是指理應成為處理科學上的問題的前提、在某個時代人們公認的有系統(tǒng)的思想體系。范式的變革不可能是知識的直線積累,而是一種創(chuàng)新和飛躍,一種科學體系的革命。人們已經(jīng)逐漸認識到世界的本質(zhì)就是數(shù)據(jù)。所以維克托指出大數(shù)據(jù)時代的經(jīng)濟學、政治學、社會學和許多科學門類都會發(fā)生巨大甚至是本質(zhì)的變化和發(fā)展,進而影響人類的價值體系、知識體系和生活方式。這難道不是范式轉(zhuǎn)換嗎!所以我們完全有理由相信大數(shù)據(jù)是一場根本性的革命,從思維方式到生活方式都會隨之轉(zhuǎn)變。正如《大數(shù)據(jù)時代》開宗明義所說:大數(shù)據(jù)是一場生活、工作與思維的大變革。開啟了一次重大的時代轉(zhuǎn)型。(文章來源:CDA數(shù)據(jù)分析師)
交通作為人類行為的重要組成和重要條件之一,對于大數(shù)據(jù)的感知也是最急迫的。智能交通的發(fā)展以“保障安全、提高效率、改善環(huán)境、節(jié)約能源”為目標已經(jīng)受到各國的重視,我國的智能交通也實現(xiàn)了快速發(fā)展,許多技術(shù)手段都達到了國際領先水平。但是,問題和困境也非常突出,從各個城市的發(fā)展狀況來看,智能交通的潛在價值還沒有得到有效挖掘:對交通信息的感知和收集有限,對存在于各個管理系統(tǒng)中的海量的數(shù)據(jù)無法共享運用、有效分析,對交通態(tài)勢的研判預測乏力,對公眾的交通信息服務很難滿足需求。這雖然有各地在建設理念、投入上的差異,但是整體上智能交通的現(xiàn)狀是效率不高,智能化程度不夠,使得很多先進技術(shù)設備發(fā)揮不了應有的作用,也造成了大量投入上的資金浪費。這其中很重要的問題是小數(shù)據(jù)時代帶來的硬傷:從模擬時代帶來的管理思想和技術(shù)設備只能進行一定范圍的分析,而管理系統(tǒng)的那些關系型數(shù)據(jù)庫只能刻板的分析特定的關系,對于海量數(shù)據(jù)尤其是半結(jié)構(gòu)、非結(jié)構(gòu)數(shù)據(jù)無能為力。
盡管現(xiàn)在已經(jīng)基本實現(xiàn)了數(shù)字化,但是數(shù)字化和數(shù)據(jù)化還根本不是一回事,只是局部的提高了采集、存儲和應用的效率,本質(zhì)上并沒有太大的改變。而大數(shù)據(jù)時代的到來必然帶來破解難題的重大機遇。大數(shù)據(jù)必然要求我們改變小數(shù)據(jù)條件下一味的精確計算,而是更好的面對混雜,把握宏觀態(tài)勢;大數(shù)據(jù)必然要求我們不再熱衷因果關系而是相關關系,使得處理海量非結(jié)構(gòu)化數(shù)據(jù)成為可能,也必然促使我們努力把一切事物數(shù)據(jù)化,最終實現(xiàn)管理的便捷高效。另外,大數(shù)據(jù)的世界性特征最明顯,也在瞬間拉近了我們和西方發(fā)達國家的距離,我們有可能把握還這個重大機遇迎頭趕上甚至在某些方面超過西方發(fā)達國家。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓練與驗證損失驟升:機器學習訓練中的異常診斷與解決方案 在機器學習模型訓練過程中,“損失曲線” 是反映模型學習狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預期算子的內(nèi)涵、作用與應用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應用 在數(shù)據(jù)分析與統(tǒng)計學領域,假設檢驗是驗證研究假設、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務邏輯:從規(guī)則拆解到數(shù)據(jù)把關的實戰(zhàn)指南 在業(yè)務系統(tǒng)落地過程中,“業(yè)務邏輯” 是連接 “需求設計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11