
機(jī)器學(xué)習(xí)決策樹算法學(xué)習(xí)筆記
基本概念
決策樹是分類算法。
數(shù)據(jù)類型:數(shù)值型和標(biāo)稱型。因?yàn)闃?gòu)造算法只適用于標(biāo)稱型,所以數(shù)值型數(shù)據(jù)必須離散化。
工作原理
利用香濃熵找到信息增益最大的特征,按照信息增益最大的特征劃分?jǐn)?shù)據(jù),如此反復(fù),讓無序的數(shù)據(jù)變的更加有序。使用ID3算法構(gòu)建樹結(jié)構(gòu)。當(dāng)傳入一個(gè)新數(shù)據(jù)時(shí),按照數(shù)據(jù)找到對(duì)應(yīng)樹節(jié)點(diǎn),直到最后沒有葉子節(jié)點(diǎn)時(shí),完成分類。
樣例
不浮出水面是否可以生存? 是否有腳蹼? 是否是魚類?
通過“不浮出水面是否可以生存”和“是否有腳蹼”這兩個(gè)特征來判斷是否是魚類。構(gòu)建一個(gè)簡(jiǎn)單決策樹,如果得到一個(gè)新的生物,可以用此來判斷是否是魚類。
樣例代碼
def createDataSet():
dataSet = [[1, 1, 'yes'],
[1, 1, 'yes'],
[1, 0, 'no'],
[0, 1, 'no'],
[0, 1, 'no']]
labels = ['no surfacing','flippers'] return dataSet, labels
香農(nóng)熵公式
如果待分類的事務(wù)可能劃分在多個(gè)分類之中,則符號(hào)Xi的信息定義為:
其中P(Xi)是選擇該分類的概率
為了計(jì)算熵,需要計(jì)算所有類別所有可能值包含的信息期望值總和,公式為:
其中n是分類的數(shù)目
香農(nóng)熵算法
def calcShannonEnt(dataSet):
# 選擇該分類的概率 就是每個(gè)類型/總個(gè)數(shù)
# 總數(shù),多少行數(shù)據(jù)
numEntries = len(dataSet)
labelCounts = {} # 取到的每個(gè)類型個(gè)數(shù)
for featVec in dataSet:
currentLabel = featVec[-1] if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0
labelCounts[currentLabel] += 1
shannonEnt = 0.0
for key in labelCounts: # 得到選擇該分類的概率
prob = float(labelCounts[key])/numEntries # 按照公式
shannonEnt -= prob * log(prob,2) #log base 2
return shannonEnt
按照香農(nóng)熵劃分?jǐn)?shù)據(jù)
除了需要測(cè)量信息熵,還需要?jiǎng)澐謹(jǐn)?shù)據(jù)集,度量花費(fèi)數(shù)據(jù)集的熵,以便判斷當(dāng)前是否正確劃分。 循環(huán)計(jì)算香濃熵和splitDataSet(),找到最好的特征劃分方式。
def splitDataSet(dataSet, axis, value):
# 這個(gè)算法返回axis下標(biāo)之外的列
retDataSet = [] for featVec in dataSet: if featVec[axis] == value:
reducedFeatVec = featVec[:axis] #chop out axis used for splitting
reducedFeatVec.extend(featVec[axis+1:])
retDataSet.append(reducedFeatVec) return retDataSetdef chooseBestFeatureToSplit(dataSet):
# 先取最后一列,用在標(biāo)簽結(jié)果:是魚或不是魚。
numFeatures = len(dataSet[0]) - 1
# 原始香濃熵
baseEntropy = calcShannonEnt(dataSet)
bestInfoGain = 0.0; bestFeature = -1
# 遍歷所有的特征
for i in range(numFeatures): # 創(chuàng)建一個(gè)列表包含這個(gè)特征的所有值
featList = [example[i] for example in dataSet] # 利用set去重
uniqueVals = set(featList)
newEntropy = 0.0
# 計(jì)算該特征所包含類型的香濃熵之和
for value in uniqueVals:
subDataSet = splitDataSet(dataSet, i, value)
prob = len(subDataSet)/float(len(dataSet))
newEntropy += prob * calcShannonEnt(subDataSet) # 得到信息增益
infoGain = baseEntropy - newEntropy # 取最大的信息增益,并記錄下標(biāo)
if (infoGain > bestInfoGain):
bestInfoGain = infoGain
bestFeature = i # 返回下標(biāo)
return bestFeature
數(shù)據(jù)集需要滿足一定的要求:
數(shù)據(jù)必須是一種有列表元素組成的列表。(二維數(shù)組)
所有列表元素必須有相同長(zhǎng)度。
最后一列必須是當(dāng)前實(shí)例的標(biāo)簽。
遞歸構(gòu)建決策樹
多數(shù)表決算法
如果數(shù)據(jù)集已經(jīng)處理了所有屬性,但是類標(biāo)簽依然不是唯一的,此時(shí)需要決定如何定義該葉子節(jié)點(diǎn),在這種情況下,我們通常會(huì)采用多數(shù)表決決定該葉子節(jié)點(diǎn)。
import operator def majorityCnt(classList):
# 排序取出種類最多的
classCount={} for vote in classList: if vote not in classCount.keys(): classCount[vote] = 0
classCount[vote] += 1
sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True) return sortedClassCount[0][0]
構(gòu)建樹算法
def createTree(dataSet,labels):
# 取出結(jié)果
classList = [example[-1] for example in dataSet] # 如果結(jié)果里的第一個(gè)元素所代表的數(shù)據(jù)個(gè)數(shù)等于結(jié)果本身,說明沒有其他分類了
if classList.count(classList[0]) == len(classList):
return classList[0] # 如果沒有更多數(shù)據(jù)了,超過一個(gè)才有分類的意義
if len(dataSet[0]) == 1: # 多數(shù)表決,返回出現(xiàn)次數(shù)最多的
return majorityCnt(classList) # 選出最適合用于切分類型的下標(biāo)
bestFeat = chooseBestFeatureToSplit(dataSet) # 根據(jù)下標(biāo)取出標(biāo)簽
bestFeatLabel = labels[bestFeat] # 構(gòu)建樹
myTree = {bestFeatLabel:{}} # 刪除取出過的標(biāo)簽,避免重復(fù)計(jì)算
del(labels[bestFeat])
featValues = [example[bestFeat] for example in dataSet] # 利用set去重
uniqueVals = set(featValues) for value in uniqueVals: # 復(fù)制所有的子標(biāo)簽,因?yàn)槭且妙愋?,以避免改變?cè)紭?biāo)簽數(shù)據(jù)
subLabels = labels[:] # 遞歸的構(gòu)建樹
myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, bestFeat, value),subLabels) return myTree
使用決策樹分類
def classify(inputTree,featLabels,testVec):
firstStr = inputTree.keys()[0]
secondDict = inputTree[firstStr]
featIndex = featLabels.index(firstStr) # print 'featIndex %s' % (featIndex)
key = testVec[featIndex] # print 'key %s' % (key)
valueOfFeat = secondDict[key] if isinstance(valueOfFeat, dict):
classLabel = classify(valueOfFeat, featLabels, testVec) else: classLabel = valueOfFeat return classLabel
dataSet, labels = createDataSet()
mytree = createTree(dataSet, labels[:]) #因?yàn)閮?nèi)部會(huì)刪除labels里的值所以用這樣copy一份 print mytree # {'no surfacing': {0: 'no', 1: {'flippers': {0: 'no', 1: 'yes'}}}}print classify(mytree, labels, [0,1])
no
決策樹的存儲(chǔ)
構(gòu)造決策樹是耗時(shí)的任務(wù),即使處理很小的數(shù)據(jù)集。所以我們可以使用構(gòu)造好的決策樹。
def storeTree(inputTree,filename):
import pickle
fw = open(filename,'w')
pickle.dump(inputTree,fw)
fw.close()def grabTree(filename):
import pickle
fr = open(filename) return pickle.load(fr)
優(yōu)點(diǎn)
計(jì)算復(fù)雜度不高
輸出結(jié)果易于理解
對(duì)中間值缺失不敏感
可以處理不相關(guān)特偵
缺點(diǎn)
可能產(chǎn)生過度匹配問題
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03