
大數(shù)據(jù)的認(rèn)知存在挑戰(zhàn) 聚類成大數(shù)據(jù)認(rèn)知突破口__數(shù)據(jù)分析師考試
大數(shù)據(jù)作為網(wǎng)絡(luò)時代的一種客觀存在,是網(wǎng)絡(luò)時代人類社會的重要資產(chǎn),盡管目前對于大數(shù)據(jù)的認(rèn)知存在挑戰(zhàn),但聚類將會成為大數(shù)據(jù)認(rèn)知的突破口。
大數(shù)據(jù)聚類將成行業(yè)核心競爭力
大數(shù)據(jù)標(biāo)志著一個新時代的到來,這個時代的特征不只是追求豐富的物質(zhì)資源,也不只是無所不在的互聯(lián)網(wǎng)帶來的方便的多樣化信息服務(wù),同時還包含區(qū)別于物質(zhì)的數(shù)據(jù)資源的價值發(fā)現(xiàn)和價值轉(zhuǎn)換,以及由大數(shù)據(jù)帶來的精神和文化方面的嶄新現(xiàn)象。
大數(shù)據(jù)來源于人類的測量、記錄和分析世界的渴望和無盡的追求。隨著信息技術(shù),尤其是傳感器、通信、計算機和互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展和廣泛應(yīng)用,人類獲取數(shù)據(jù)的手段越來越多,速度大大加快、成本急劇降低,層次和尺度更為精細,揭示自然現(xiàn)象和社會現(xiàn)象更加深刻,人聯(lián)網(wǎng)和物聯(lián)網(wǎng)又使得人人物物都成為數(shù)據(jù)源,這樣一來,大數(shù)據(jù)成為網(wǎng)絡(luò)時代人類社會的重要資產(chǎn)。
大數(shù)據(jù)本身既不是科學(xué),也不是技術(shù)。它反映的是網(wǎng)絡(luò)時代的一種客觀存在,各行各業(yè)的大數(shù)據(jù),規(guī)模從TB到PB到EB到ZB,都是以三個數(shù)量級的階梯迅速增長,是用傳統(tǒng)工具難以認(rèn)知的,具有更大挑戰(zhàn)。
“物以類聚,人以群分”,這是人類幾千年來認(rèn)識世界和社會的基本能力,是從大數(shù)據(jù)中發(fā)現(xiàn)價值必須面對的一個普遍性、基礎(chǔ)性問題,是認(rèn)知科學(xué)作為“學(xué)科的學(xué)科”要解決的首要問題。無論是政治、經(jīng)濟、文學(xué)、歷史、社會、文化、還是數(shù)理、化工、醫(yī)農(nóng)、交通、地理、各行各業(yè)的大數(shù)據(jù)或宏觀或微觀的任何價值發(fā)現(xiàn),無不借助于大數(shù)據(jù)聚類分析的結(jié)果,因此,數(shù)據(jù)分析和挖掘的首要問題是聚類,這種聚類是跨學(xué)科、跨領(lǐng)域、跨媒體的。大數(shù)據(jù)聚類是數(shù)據(jù)密集型科學(xué)的基礎(chǔ)性、普遍性問題。
以汽車保險為例,作為一個很傳統(tǒng)的行業(yè),保險是基于概念評估的生意,保險公司對車險客戶是這樣聚類的:A類連續(xù)兩年沒有出車禍的,B類最近一年沒有出車禍的,C類過去一年出了一次車禍的,D類過去一年出了兩此及以上車禍的,要做到這樣的聚類,保險公司就要獲得客戶的相關(guān)數(shù)據(jù)。
物聯(lián)網(wǎng)時代,當(dāng)汽車成為輪式機器人,成為大數(shù)據(jù)發(fā)生器以后,就是一個大數(shù)據(jù)發(fā)生體。每一次駕駛,每一次維修,每一次行駛,甚至每一次剎車,都會記錄在案,利用大數(shù)據(jù)聚類,保險公司可對一個車況好、駕駛習(xí)慣好、常走線路事故率低,不勤開車的特定客戶,給予更大的優(yōu)惠,而對風(fēng)險太高的客戶報高價甚至拒絕??傊鶕?jù)大數(shù)據(jù)聚類保險公司能夠給出包括保險費支付方式在內(nèi)的個性化解決方案,這就顛覆了保險公司的傳統(tǒng)商業(yè)模式。我認(rèn)為將來大數(shù)據(jù)聚類成為很多行業(yè)的核心競爭力。
大數(shù)據(jù)對形式化方法的挑戰(zhàn)是非常嚴(yán)峻的,在數(shù)據(jù)密集型的網(wǎng)絡(luò)時代,任何傳統(tǒng)學(xué)科或者傳統(tǒng)的行業(yè),其公理、原理和定理組成的語境,遇到互聯(lián)網(wǎng)+的挑戰(zhàn)之后,都將成為一個大數(shù)據(jù)、小模型、小定律、交叉學(xué)科的時代,模型和程序要圍繞數(shù)據(jù)。
創(chuàng)新也會相應(yīng)的發(fā)生變化,應(yīng)該是創(chuàng)造一個新的語境、新的坐標(biāo)系,在這個坐標(biāo)系下研究大數(shù)據(jù),否則難以有新的發(fā)現(xiàn)。
實踐中的研究也要由下而上地深入,數(shù)據(jù)要勝過程序,價值要勝過知識,關(guān)聯(lián)要勝過因果,要更多地關(guān)注有意義的小眾,把這些小眾累積起來才成為大眾。
通過大數(shù)據(jù)聚類即時發(fā)現(xiàn)價值,還要充分認(rèn)識大數(shù)據(jù)中的不確定性和價值的隱蔽性。
機器人是大數(shù)據(jù)認(rèn)知的典型代表
智能機器人是集新材料、新工藝、新能源、機械、電子、移動通信、全球定位導(dǎo)航、移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、自動化、人工智能、認(rèn)知科學(xué)乃至人文藝術(shù)等多個學(xué)科、多種技術(shù)于一身的人造精靈,是人聯(lián)網(wǎng)、物聯(lián)網(wǎng)不可或缺的端設(shè)備,是人類社會走向智慧生活的重要伴侶。
機器人既是使用大數(shù)據(jù)也產(chǎn)生大數(shù)據(jù),既是大數(shù)據(jù)的產(chǎn)物也是大數(shù)據(jù)的推動者,機器人是大數(shù)據(jù)的認(rèn)知的典型代表。而在目前,無論是搬運、碼垛、研磨、拋光、挖掘等灰頭土臉的工業(yè)機器人還是微電子產(chǎn)品生產(chǎn)線上精細靈巧大的機器人,機器人在我們的生產(chǎn)生活中已經(jīng)隨處可見。
機器人革命是世界性的、時代性的,機器人替換的首先不是理發(fā)師之類的勞動者,而可能是產(chǎn)業(yè)工人、文秘人員、醫(yī)生、服務(wù)員、甚至士兵,他們將升級轉(zhuǎn)型成為機器人的創(chuàng)造者和使用者,成為懂得集成、維修、管理機器人的專業(yè)人才??缃鐫B透和跨界創(chuàng)新誕生的智能制造也將是我國抓住歷史機遇的又一次崛起。
此外,機器人還將進一步刮起“穿戴風(fēng)”。蘋果推出了自己的手表,并發(fā)表了5個有關(guān)醫(yī)療的App,啟動全新醫(yī)療應(yīng)用。試想如果有一天手機或手表將會成為醫(yī)療診斷的工具,用于慢性管理的醫(yī)患視頻互動平臺,醫(yī)療互聯(lián)網(wǎng)個人健康與醫(yī)療的數(shù)據(jù)發(fā)生器,這將是遠程診療的開始,并繼而成為某種流行病的社會調(diào)查,成為病友社交網(wǎng)絡(luò),甚至?xí)嵏矀鹘y(tǒng)看病模式,顛覆傳統(tǒng)醫(yī)學(xué)研究。
同時我們也可以期待未來的生物機器人,如果器官移植越來越發(fā)達,那么“移花接木”就屢見不鮮。改造人類胚胎DNA,會不會避免遺傳性疾病?如果將人的思維移植到機器人,那么思想是不是不朽的呢……
人腦是很復(fù)雜的,科學(xué)界現(xiàn)在正把腦科學(xué)和認(rèn)知科學(xué)作為當(dāng)前的重大研究領(lǐng)域,我們也在熱切期待生物腦的出現(xiàn)。
當(dāng)然認(rèn)知科學(xué)不僅是研究生物腦的自然屬性,社會屬性研究也很重要。我們各種高端生物都會有語言、文字,有了文字,才會有文明。因此我們要研究腦認(rèn)知的后天屬性,研究腦發(fā)育、可塑性與自然環(huán)境的關(guān)系,認(rèn)知也是后天學(xué)習(xí)和積累的結(jié)果,是與社會環(huán)境、社會實踐、群體交互等密切相關(guān)的,要建立人腦認(rèn)知的成長機制:如何創(chuàng)建神經(jīng)元之間新的連接和新的認(rèn)知。
人的智能除了記憶之外,在學(xué)習(xí)和思維上,概括地說有兩點:一個是邏輯思維,一個是形象思維,形象思維最主要的是類比和聯(lián)想。
從我的技術(shù)觀點來看,如果人腦的認(rèn)知能力不能夠全部、完整、統(tǒng)一地形式化,那么我們可以在特定的情境下使認(rèn)知能力局部形式化,如算術(shù)運算、簡單游戲、博弈、定點開車等。
在未來,我還想做一個機器駕駛腦,這個駕駛腦主要涵蓋了人腦關(guān)于駕駛行為的主要功能,長期記憶、短期記憶,還有瞬間記憶,就是感覺記憶,從感知到認(rèn)知,到行動。
目前,中國腦計劃馬上要啟動了,我個人認(rèn)為是要將各項研究同步進行,用大數(shù)據(jù)來認(rèn)識腦袋、保護腦、模擬腦。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03