
引自百度:決策樹算法是一種逼近離散函數值的方法。它是一種典型的分類方法,首先對數據進行處理,利用歸納算法生成可讀的規(guī)則和決策樹,然后使用決策對新數據進行分析。本質上決策樹是通過一系列規(guī)則對數據進行分類的過程
決策樹的算法原理:
(1)通過把實例從根節(jié)點開始進行排列到某個葉子節(jié)點來進行分類的。
(2)葉子節(jié)點即為實例所屬的分類的,樹上的每個節(jié)點說明了實例的屬性。
(3)樹的生成,開始的所有數據都在根節(jié)點上,然后根據你所設定的標準進行分類,用不同的測試屬性遞歸進行數據分析。
決策樹的實現主要思路如下:
(1)先計算整體類別的熵
(2)計算每個特征將訓練數據集分割成的每個子集的熵,并將這個熵乘以每個子集相對于這個訓練集的頻率,最后將這些乘積累加,就會得到一個個特征對應的信息增益。
(3)選擇信息增益最大的作為最優(yōu)特征分割訓練數據集
(4)遞歸上述過程
(5)遞歸結束條件:訓練集的所有實例屬于同一類;或者所有特征已經使用完畢。
代碼如下:
[python] view plain copy
#!/usr/bin/python
#coding=utf-8
import operator
import math
#定義訓練數據集
def createDataSet():
#用書上圖8.2的數據
dataSet = [
['youth', 'no', 'no', 'no'],
['youth', 'yes', 'no', 'yes'],
['youth', 'yes', 'yes', 'yes'],
['middle_aged', 'no', 'no', 'no'],
['middle_aged', 'no', 'yes', 'no'],
['senior', 'no', 'excellent', 'yes'],
['senior', 'no', 'fair', 'no']
]
labels = ['age', 'student', 'credit_rating']
return dataSet, labels
#實現熵的計算
def calShannonEnt(dataSet):
numEntries = len(dataSet)
labelCounts = {}
for featVect in dataSet:
currentLabel = featVect[-1]
if currentLabel not in labelCounts:
labelCounts[currentLabel] = 0
labelCounts[currentLabel] += 1
shannonEnt = 0.0
for key in labelCounts:
prob = float(labelCounts[key]) / numEntries
shannonEnt -= prob * math.log(prob, 2)
return shannonEnt
#分割訓練數據集
def splitDataSet(dataSet, axis, value):
retDataSet = []
for featVec in dataSet:
if featVec[axis] == value:
reducedFeatVec = featVec[:axis]
reducedFeatVec.extend(featVec[axis+1:])
retDataSet.append(reducedFeatVec)
return retDataSet
#一個確定“最好地”劃分數據元組為個體類的分裂準則的過程
def Attribute_selection_method(dataSet):
numFeatures = len(dataSet[0]) - 1
baseEntropy = calShannonEnt(dataSet)
bestInfoGain = 0.0
bestFeature = -1
for i in range(numFeatures):
featList = [example[i] for example in dataSet]
uniqueValue = set(featList)
newEntropy = 0.0
for value in uniqueValue:
subDataSet = splitDataSet(dataSet, i, value)
prob = len(subDataSet) / len(dataSet)
newEntropy += prob * calShannonEnt(subDataSet)
infoGain = baseEntropy - newEntropy
if infoGain > bestInfoGain:
bestInfoGain = infoGain
bestFeature = i
return bestFeature
#采用majorityvote策略,選擇當前訓練集中實例數最大的類
def majorityCnt(classList):
classCount = {}
for vote in classList:
if vote not in classCount.keys():
classCount[vote] = 0
classCount[vote] += 1
sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]
#創(chuàng)建決策樹
def Generate_decision_tree(dataSet, labels):
classList = [example[-1] for example in dataSet]
# 訓練集所有實例屬于同一類
if classList.count(classList[0]) == len(classList):
return classList[0]
# 訓練集的所有特征使用完畢,當前無特征可用
if len(dataSet[0]) == 1:
return majorityCnt(classList)
bestFeat = Attribute_selection_method(dataSet)
bestFeatLabel = labels[bestFeat]
myTree = {bestFeatLabel: {}}
del(labels[bestFeat])
featValues = [example[bestFeat] for example in dataSet]
uniqueVals = set(featValues)
for value in uniqueVals:
subLabels = labels[:]
myTree[bestFeatLabel][value] = Generate_decision_tree(splitDataSet(dataSet, bestFeat, value), subLabels)
return myTree
def main():
print ' ____ _ _ _____ '
print ' | _ \ ___ ___(_)___(_) ___ _ _|_ _| __ ___ ___ '
print ''''' | | | |/ _ \/ __| / __| |/ _ \| '_ \| || '__/ _ \/ _ \\'''
print ' | |_| | __/ (__| \__ \ | (_) | | | | || | | __/ __/'
print ' |____/ \___|\___|_|___/_|\___/|_| |_|_||_| \___|\___|決策樹'
print
myDat, labels = createDataSet()
myTree = Generate_decision_tree(myDat, labels)
print '[*]生成的決策樹:\n',myTree
if __name__ == '__main__':
main()
這里的數據也是使用書上的(《數據挖掘概念與技術 第三版》)。
運行結果:
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經網絡(RNN)家族中,長短期記憶網絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數據分析師報考條件詳解與準備指南? ? 在數據驅動決策的時代浪潮下,CDA 數據分析師認證愈發(fā)受到矚目,成為眾多有志投身數 ...
2025-07-11數據透視表中兩列相乘合計的實用指南? 在數據分析的日常工作中,數據透視表憑借其強大的數據匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數據分析師:連接數據與業(yè)務的價值轉化者? ? 在大數據與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數據查詢到趨勢預判? ? 在數據驅動決策的時代,預測分析作為挖掘數據潛在價值的核心手段,正被廣泛 ...
2025-07-10數據查詢結束后:分析師的收尾工作與價值深化? ? 在數據分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數 ...
2025-07-10CDA 數據分析師考試:從報考到取證的全攻略? 在數字經濟蓬勃發(fā)展的今天,數據分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數據背后的時間軌跡? 在數據分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數據類型:時間維度的精準切片? ? 在數據的世界里,時間是最不可或缺的維度之一,而year_month數據類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數據分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數據分析師認證考試中,Python 作為數據處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數據趨勢與突變分析的有力工具? ? ? 在數據分析的廣袤領域中,準確捕捉數據的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數據分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數據分析師認證作為國內權威的數據分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網絡(LSTM)作為循環(huán)神經網絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調研數據中的深度應用? 市場調研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調研數 ...
2025-07-07CDA數據分析師證書考試全攻略? 在數字化浪潮席卷全球的當下,數據已成為企業(yè)決策、行業(yè)發(fā)展的核心驅動力,數據分析師也因此成為 ...
2025-07-07剖析 CDA 數據分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數據分析師考試作為衡量數據專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉日期:解鎖數據處理的關鍵技能? 在數據處理與分析工作中,數據格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數據分析師視角:從數據迷霧中探尋商業(yè)真相? 在數字化浪潮席卷全球的今天,數據已成為企業(yè)決策的核心驅動力,CDA(Certifie ...
2025-07-04CDA 數據分析師:開啟數據職業(yè)發(fā)展新征程? ? 在數據成為核心生產要素的今天,數據分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03