決策樹呈樹形結(jié)構(gòu)，是一種基本的回歸和分類方法。

決策樹模型的優(yōu)點在于可讀性強、分類速度快。

下面通過從「譯學(xué)館」搬運的兩個視頻，來簡單了解下決策樹。

最后來實戰(zhàn)一波，建立一個簡單的決策樹模型。

／ 01 ／ 決策樹算法

本次主要涉及兩類決策樹，Quinlan系列決策樹和CART決策樹。

前者涉及的算法包括ID3算法、C4．5算法及C5．0算法，后者則是CART算法。

前者一系列算法的步驟總體可以概括為建樹和剪樹。

在建樹步驟中，首先選擇最有解釋力度的變量，接著對每個變量選擇最優(yōu)的分割點進(jìn)行剪樹。

剪樹，去掉決策樹中噪音或異常數(shù)據(jù)，在損失一定預(yù)測精度的情況下，能夠控制決策樹的復(fù)雜度，提高其泛化能力。

在剪樹步驟中，分為前剪枝和后剪枝。

前剪枝用于控制樹的生成規(guī)模，常用方法有控制決策樹最大深度、控制樹中父結(jié)點和子結(jié)點的最少樣本量或比例。

后剪枝用于刪除沒有意義的分組，常用方法有計算結(jié)點中目標(biāo)變量預(yù)測精度或誤差、綜合考慮誤差與復(fù)雜度進(jìn)行剪樹。

此外在ID3算法中，使用信息增益挑選最有解釋力度的變量。

其中信息增益為信息熵減去條件熵得到，增益越大，則變量的影響越大。

C4．5算法則是使用信息增益率作為變量篩選的指標(biāo)。

CART算法可用于分類或數(shù)值預(yù)測，使用基尼系數(shù)（gini）作為選擇最優(yōu)分割變量的指標(biāo)。

／ 02／ Python實現(xiàn)

慣例，繼續(xù)使用書中提供的數(shù)據(jù)。

一份汽車違約貸款數(shù)據(jù)集。

讀取數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行清洗處理。

import os

import pydotplus

import numpy as np

import pandas as pd

import sklearn．tree as tree

import matplotlib．pyplot as plt

from IPython．display import Image

import sklearn．metrics as metrics

from sklearn．tree import DecisionTreeClassifier

from sklearn．model＿selection import train＿test＿split， ParameterGrid， GridSearchCV

＃ 消除pandas輸出省略號情況

pd．set＿option（＇display．max＿columns＇， None）

＃ 設(shè)置顯示寬度為1000，這樣就不會在IDE中換行了

pd．set＿option（＇display．width＇， 1000）

＃ 讀取數(shù)據(jù)，skipinitialspace：忽略分隔符后的空白

accepts ＝ pd．read＿csv（＇accepts．csv＇， skipinitialspace＝True）

＃ dropna：對缺失的數(shù)據(jù)進(jìn)行刪除

accepts ＝ accepts．dropna（axis＝0， how＝＇any＇）

＃ 因變量，是否違約

target ＝ accepts［＇bad＿ind＇］

＃ 自變量

data ＝ accepts．ix［：， ＇bankruptcy＿ind＇：＇used＿ind＇］

＃ 業(yè)務(wù)處理，loan＿amt：貸款金額，tot＿income：月均收入

data［＇lti＿temp＇］ ＝ data［＇loan＿amt＇］ ／ data［＇tot＿income＇］

data［＇lti＿temp＇］ ＝ data［＇lti＿temp＇］．map（lambda x： 10 if x ＞＝ 10 else x）

＃ 刪除貸款金額列

del data［＇loan＿amt＇］

＃ 替換曾經(jīng)破產(chǎn)標(biāo)識列

data［＇bankruptcy＿ind＇］ ＝ data［＇bankruptcy＿ind＇］．replace（｛＇N＇： 0， ＇Y＇： 1｝）

接下來使用scikit－learn將數(shù)據(jù)集劃分為訓(xùn)練集和測試集。

＃ 使用scikit－learn將數(shù)據(jù)集劃分為訓(xùn)練集和測試集

train＿data， test＿data， train＿target， test＿target ＝ train＿test＿split（data， target， test＿size＝0．2， train＿size＝0．8， random＿state＝1234）

初始化一個決策樹模型，使用訓(xùn)練集進(jìn)行訓(xùn)練。

采用基尼系數(shù)作為樹的生長依據(jù)，樹的最大深度為3，每一類標(biāo)簽的權(quán)重一樣。

＃ 初始化一個決策樹模型

clf ＝ DecisionTreeClassifier（criterion＝＇gini＇， max＿depth＝3， class＿weight＝None， random＿state＝1234）

＃ 輸出決策樹模型信息

print（clf．fit（train＿data， train＿target））

輸出的模型信息如下。

對生成的決策樹模型進(jìn)行評估。

＃ 輸出決策樹模型的決策類評估指標(biāo)

print（metrics．classification＿report（test＿target， clf．predict（test＿data）））

＃ 對不同的因變量進(jìn)行權(quán)重設(shè)置

clf．set＿params（＊＊｛＇class＿weight＇： ｛0： 1， 1： 3｝｝）

clf．fit（train＿data， train＿target）

＃ 輸出決策樹模型的決策類評估指標(biāo)

print（metrics．classification＿report（test＿target， clf．predict（test＿data）））

＃ 輸出決策樹模型的變量重要性排序

print（list（zip（data．columns， clf．feature＿importances＿）））

輸出如下。

可以看出對因變量標(biāo)簽進(jìn)行權(quán)重設(shè)置后，模型對違約用戶的f1－score（精確率和召回率的調(diào)和平均數(shù)）提高了，為0．46。

違約用戶被識別的靈敏度也從0．24提高到了0．46。

此外決策樹模型的變量重要性排序為「FICO打分」、「信用卡授權(quán)額度」、「貸款金額／建議售價＊100」。