
聚類分析:大數(shù)據(jù)時代數(shù)據(jù)挖掘的關(guān)鍵突破口
什么是聚類分析?聚類分析有什么用?聚類算法有哪些?聚類分析的應(yīng)用……這些問題的探究可為大數(shù)據(jù)時代數(shù)據(jù)分析或數(shù)據(jù)挖掘找到關(guān)鍵突破口!
人類文明已邁入大數(shù)據(jù)時代,得“數(shù)據(jù)”者得天下,但你"數(shù)據(jù)分析師"不能把海量數(shù)據(jù)一下推給用戶,那是毫無價值的。"數(shù)據(jù)分析師"需要把通過對海量數(shù)據(jù)的挖掘、處理、分析,得出結(jié)果,然后給用戶,這才是有價值的“數(shù)據(jù)”。
由此,數(shù)據(jù)處理技術(shù)必不可少,那么說到大數(shù)據(jù)分析中的應(yīng)用,還得先說說聚類算法。數(shù)據(jù)挖掘常用的經(jīng)典算法之一就是聚類法,是數(shù)據(jù)挖掘采用的起步技術(shù),也是數(shù)據(jù)挖掘入門的一項關(guān)鍵技術(shù)。
一、什么是聚類分析?
聚類分析指將物理或抽象對象的集合分組為由類似的對象組成的多個類的分析過程,其目的是在相似的基礎(chǔ)上收集數(shù)據(jù)來分類。
聚類類似于分類,但與分類的目的不同,是針對數(shù)據(jù)的相似性和差異性將一組數(shù)據(jù)分為幾個類別。屬于同一類別的數(shù)據(jù)間的相似性很大,但不同類別之間數(shù)據(jù)的相似性很小,跨類的數(shù)據(jù)關(guān)聯(lián)性很低。聚類與分類的不同還在于,聚類所要求劃分的類是未知的。
二、聚類分析的重要性
“物以類聚,人以群分”,這是人類幾千年來認識世界和社會的基本能力,是從大數(shù)據(jù)中發(fā)現(xiàn)價值必須面對的一個普遍性、基礎(chǔ)性問題,是認知科學作為“學科的學科”要解決的首要問題。無論是政治、經(jīng)濟、文學、歷史、社會、文化、還是數(shù)理、化工、醫(yī)農(nóng)、交通、地理、各行各業(yè)的大數(shù)據(jù)或宏觀或微觀的任何價值發(fā)現(xiàn),無不借助于大數(shù)據(jù)聚類分析的結(jié)果,因此,數(shù)據(jù)分析和挖掘的首要問題是聚類,這種聚類是跨學科、跨領(lǐng)域、跨媒體的。大數(shù)據(jù)聚類是數(shù)據(jù)密集型科學的基礎(chǔ)性、普遍性問題。
可以毫不夸張的講,如果聚類算法都搞不明白,或者說沒有“落地”的“實例”,那說在搞數(shù)據(jù)挖掘就純粹是忽悠了。
人類的認知科學要想有所突破,首先就要在大數(shù)據(jù)聚類上去的突破,聚類是挖掘大數(shù)據(jù)資產(chǎn)價值的第一步。
三、聚類算法的種類
作為數(shù)據(jù)挖掘中很活躍的一個研究領(lǐng)域,聚類分析有多種算法。
基于劃分聚類算法:
k-means: |
是一種典型的劃分聚類算法,它用一個聚類的中心來代表一個簇,即在迭代過程中選擇的聚點不一定是聚類中的一個點,該算法只能處理數(shù)值型數(shù)據(jù) |
k-modes: |
K-Means算法的擴展,采用簡單匹配方法來度量分類型數(shù)據(jù)的相似度 |
k-prototypes: |
結(jié)合了K-Means和K-Modes兩種算法,能夠處理混合型數(shù)據(jù) |
k-medoids: |
在迭代過程中選擇簇中的某點作為聚點,PAM是典型的k-medoids算法 |
CLARA: |
CLARA算法在PAM的基礎(chǔ)上采用了抽樣技術(shù),能夠處理大規(guī)模數(shù)據(jù) |
CLARANS: |
CLARANS算法融合了PAM和CLARA兩者的優(yōu)點,是第一個用于空間數(shù)據(jù)庫的聚類算法 |
Focused CLARAN: |
采用了空間索引技術(shù)提高了CLARANS算法的效率 |
PCM: |
模糊集合理論引入聚類分析中并提出了PCM模糊聚類算法 |
基于層次聚類算法:
CURE: |
采用抽樣技術(shù)先對數(shù)據(jù)集D隨機抽取樣本,再采用分區(qū)技術(shù)對樣本進行分區(qū),然后對每個分區(qū)局部聚類,最后對局部聚類進行全局聚類 |
ROCK: |
也采用了隨機抽樣技術(shù),該算法在計算兩個對象的相似度時,同時考慮了周圍對象的影響 |
CHEMALOEN(變色龍算法): |
首先由數(shù)據(jù)集構(gòu)造成一個K-最近鄰圖Gk ,再通過一個圖的劃分算法將圖Gk 劃分成大量的子圖,每個子圖代表一個初始子簇,最后用一個凝聚的層次聚類算法反復(fù)合并子簇,找到真正的結(jié)果簇 |
SBAC: |
SBAC算法則在計算對象間相似度時,考慮了屬性特征對于體現(xiàn)對象本質(zhì)的重要程度,對于更能體現(xiàn)對象本質(zhì)的屬性賦予較高的權(quán)值 |
BIRCH: |
BIRCH算法利用樹結(jié)構(gòu)對數(shù)據(jù)集進行處理,葉結(jié)點存儲一個聚類,用中心和半徑表示,順序處理每一個對象,并把它劃分到距離最近的結(jié)點,該算法也可以作為其他聚類算法的預(yù)處理過程 |
BUBBLE: |
BUBBLE算法則把BIRCH算法的中心和半徑概念推廣到普通的距離空間 |
BUBBLE-FM: |
BUBBLE-FM算法通過減少距離的計算次數(shù),提高了BUBBLE算法的效率 |
基于密度聚類算法:
DBSCAN: |
DBSCAN算法是一種典型的基于密度的聚類算法,該算法采用空間索引技術(shù)來搜索對象的鄰域,引入了“核心對象”和“密度可達”等概念,從核心對象出發(fā),把所有密度可達的對象組成一個簇 |
GDBSCAN: |
算法通過泛化DBSCAN算法中鄰域的概念,以適應(yīng)空間對象的特點 |
OPTICS: |
OPTICS算法結(jié)合了聚類的自動性和交互性,先生成聚類的次序,可以對不同的聚類設(shè)置不同的參數(shù),來得到用戶滿意的結(jié)果 |
FDC: |
FDC算法通過構(gòu)造k-d tree把整個數(shù)據(jù)空間劃分成若干個矩形空間,當空間維數(shù)較少時可以大大提高DBSCAN的效率 |
基于網(wǎng)格的聚類算法:
STING: |
利用網(wǎng)格單元保存數(shù)據(jù)統(tǒng)計信息,從而實現(xiàn)多分辨率的聚類 |
WaveCluster: |
在聚類分析中引入了小波變換的原理,主要應(yīng)用于信號處理領(lǐng)域。(備注:小波算法在信號處理,圖形圖像,加密解密等領(lǐng)域有重要應(yīng)用,是一種比較高深和牛逼的東西) |
CLIQUE: |
是一種結(jié)合了網(wǎng)格和密度的聚類算法 |
基于神經(jīng)網(wǎng)絡(luò)的聚類算法:
自組織神經(jīng)網(wǎng)絡(luò)SOM: |
該方法的基本思想是--由外界輸入不同的樣本到人工的自組織映射網(wǎng)絡(luò)中,一開始時,輸入樣本引起輸出興奮細胞的位置各不相同,但自組織后會形成一些細胞群,它們分別代表了輸入樣本,反映了輸入樣本的特征 |
基于統(tǒng)計學的聚類算法:
COBWeb: |
COBWeb是一個通用的概念聚類方法,它用分類樹的形式表現(xiàn)層次聚類 |
AutoClass: |
是以概率混合模型為基礎(chǔ),利用屬性的概率分布來描述聚類,該方法能夠處理混合型的數(shù)據(jù),但要求各屬性相互獨立 |
聚類分析是一種探索性的分析,在分類的過程中,人們不必事先給出一個分類的標準,聚類分析能夠從樣本數(shù)據(jù)出發(fā),自動進行分類。聚類分析所使用方法的不同,常常會得到不同的結(jié)論。不同研究者對于同一組數(shù)據(jù)進行聚類分析,所得到的聚類數(shù)未必一致。
四、聚類分析的應(yīng)用
商業(yè)
聚類分析被用來發(fā)現(xiàn)不同的客戶群,并且通過購買模式刻畫不同的客戶群的特征。聚類分析是細分市場的有效工具,同時也可用于研究消費者行為,尋找新的潛在市場、選擇實驗的市場,并作為多元分析的預(yù)處理。
電子商務(wù)
聚類分析在電子商務(wù)中網(wǎng)站建設(shè)數(shù)據(jù)挖掘中也是很重要的一個方面,數(shù)據(jù)分析師通過分組聚類出具有相似瀏覽行為的客戶,并分析客戶的共同特征,可以更好的幫助電子商務(wù)的用戶了解自己的客戶,向客戶提供更合適的服務(wù)。
大數(shù)據(jù)作為網(wǎng)絡(luò)時代的一種客觀存在,是網(wǎng)絡(luò)時代人類社會的重要資產(chǎn),數(shù)據(jù)數(shù)量巨大等給人們的認知造成了很大的困擾,盡管目前對于大數(shù)據(jù)的認知存在挑戰(zhàn),但數(shù)據(jù)分析師將會成為大數(shù)據(jù)認知的突破口,這是一個發(fā)展趨向。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03