
基本概念
決策樹是分類算法。
數(shù)據(jù)類型:數(shù)值型和標稱型。因為構(gòu)造算法只適用于標稱型,所以數(shù)值型數(shù)據(jù)必須離散化。
工作原理
利用香濃熵找到信息增益最大的特征,按照信息增益最大的特征劃分數(shù)據(jù),如此反復,讓無序的數(shù)據(jù)變的更加有序。使用ID3算法構(gòu)建樹結(jié)構(gòu)。當傳入一個新數(shù)據(jù)時,按照數(shù)據(jù)找到對應樹節(jié)點,直到最后沒有葉子節(jié)點時,完成分類。
樣例
不浮出水面是否可以生存? 是否有腳蹼? 是否是魚類?
通過“不浮出水面是否可以生存”和“是否有腳蹼”這兩個特征來判斷是否是魚類。構(gòu)建一個簡單決策樹,如果得到一個新的生物,可以用此來判斷是否是魚類。
樣例代碼
def createDataSet():
dataSet = [[1, 1, 'yes'],
[1, 1, 'yes'],
[1, 0, 'no'],
[0, 1, 'no'],
[0, 1, 'no']]
labels = ['no surfacing','flippers'] return dataSet, labels
香農(nóng)熵公式
如果待分類的事務可能劃分在多個分類之中,則符號Xi的信息定義為:
其中P(Xi)是選擇該分類的概率
為了計算熵,需要計算所有類別所有可能值包含的信息期望值總和,公式為:
其中n是分類的數(shù)目
香農(nóng)熵算法
def calcShannonEnt(dataSet):
# 選擇該分類的概率 就是每個類型/總個數(shù)
# 總數(shù),多少行數(shù)據(jù)
numEntries = len(dataSet)
labelCounts = {} # 取到的每個類型個數(shù)
for featVec in dataSet:
currentLabel = featVec[-1] if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0
labelCounts[currentLabel] += 1
shannonEnt = 0.0
for key in labelCounts: # 得到選擇該分類的概率
prob = float(labelCounts[key])/numEntries # 按照公式
shannonEnt -= prob * log(prob,2) #log base 2
return shannonEnt
按照香農(nóng)熵劃分數(shù)據(jù)
除了需要測量信息熵,還需要劃分數(shù)據(jù)集,度量花費數(shù)據(jù)集的熵,以便判斷當前是否正確劃分。 循環(huán)計算香濃熵和splitDataSet(),找到最好的特征劃分方式。
def splitDataSet(dataSet, axis, value):
# 這個算法返回axis下標之外的列
retDataSet = [] for featVec in dataSet: if featVec[axis] == value:
reducedFeatVec = featVec[:axis] #chop out axis used for splitting
reducedFeatVec.extend(featVec[axis+1:])
retDataSet.append(reducedFeatVec) return retDataSetdef chooseBestFeatureToSplit(dataSet):
# 先取最后一列,用在標簽結(jié)果:是魚或不是魚。
numFeatures = len(dataSet[0]) - 1
# 原始香濃熵
baseEntropy = calcShannonEnt(dataSet)
bestInfoGain = 0.0; bestFeature = -1
# 遍歷所有的特征
for i in range(numFeatures): # 創(chuàng)建一個列表包含這個特征的所有值
featList = [example[i] for example in dataSet] # 利用set去重
uniqueVals = set(featList)
newEntropy = 0.0
# 計算該特征所包含類型的香濃熵之和
for value in uniqueVals:
subDataSet = splitDataSet(dataSet, i, value)
prob = len(subDataSet)/float(len(dataSet))
newEntropy += prob * calcShannonEnt(subDataSet) # 得到信息增益
infoGain = baseEntropy - newEntropy # 取最大的信息增益,并記錄下標
if (infoGain > bestInfoGain):
bestInfoGain = infoGain
bestFeature = i # 返回下標
return bestFeature
數(shù)據(jù)集需要滿足一定的要求:
數(shù)據(jù)必須是一種有列表元素組成的列表。(二維數(shù)組)
所有列表元素必須有相同長度。
最后一列必須是當前實例的標簽。
遞歸構(gòu)建決策樹
多數(shù)表決算法
如果數(shù)據(jù)集已經(jīng)處理了所有屬性,但是類標簽依然不是唯一的,此時需要決定如何定義該葉子節(jié)點,在這種情況下,我們通常會采用多數(shù)表決決定該葉子節(jié)點。
import operator def majorityCnt(classList):
# 排序取出種類最多的
classCount={} for vote in classList: if vote not in classCount.keys(): classCount[vote] = 0
classCount[vote] += 1
sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True) return sortedClassCount[0][0]
構(gòu)建樹算法
def createTree(dataSet,labels):
# 取出結(jié)果
classList = [example[-1] for example in dataSet] # 如果結(jié)果里的第一個元素所代表的數(shù)據(jù)個數(shù)等于結(jié)果本身,說明沒有其他分類了
if classList.count(classList[0]) == len(classList):
return classList[0] # 如果沒有更多數(shù)據(jù)了,超過一個才有分類的意義
if len(dataSet[0]) == 1: # 多數(shù)表決,返回出現(xiàn)次數(shù)最多的
return majorityCnt(classList) # 選出最適合用于切分類型的下標
bestFeat = chooseBestFeatureToSplit(dataSet) # 根據(jù)下標取出標簽
bestFeatLabel = labels[bestFeat] # 構(gòu)建樹
myTree = {bestFeatLabel:{}} # 刪除取出過的標簽,避免重復計算
del(labels[bestFeat])
featValues = [example[bestFeat] for example in dataSet] # 利用set去重
uniqueVals = set(featValues) for value in uniqueVals: # 復制所有的子標簽,因為是引用類型,以避免改變原始標簽數(shù)據(jù)
subLabels = labels[:] # 遞歸的構(gòu)建樹
myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, bestFeat, value),subLabels) return myTree
使用決策樹分類
def classify(inputTree,featLabels,testVec):
firstStr = inputTree.keys()[0]
secondDict = inputTree[firstStr]
featIndex = featLabels.index(firstStr) # print 'featIndex %s' % (featIndex)
key = testVec[featIndex] # print 'key %s' % (key)
valueOfFeat = secondDict[key] if isinstance(valueOfFeat, dict):
classLabel = classify(valueOfFeat, featLabels, testVec) else: classLabel = valueOfFeat return classLabel
dataSet, labels = createDataSet()
mytree = createTree(dataSet, labels[:]) #因為內(nèi)部會刪除labels里的值所以用這樣copy一份 print mytree # {'no surfacing': {0: 'no', 1: {'flippers': {0: 'no', 1: 'yes'}}}}print classify(mytree, labels, [0,1])
no
決策樹的存儲
構(gòu)造決策樹是耗時的任務,即使處理很小的數(shù)據(jù)集。所以我們可以使用構(gòu)造好的決策樹。
def storeTree(inputTree,filename):
import pickle
fw = open(filename,'w')
pickle.dump(inputTree,fw)
fw.close()def grabTree(filename):
import pickle
fr = open(filename) return pickle.load(fr)
優(yōu)點
計算復雜度不高
輸出結(jié)果易于理解
對中間值缺失不敏感
可以處理不相關(guān)特偵
缺點
可能產(chǎn)生過度匹配問題
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03