通過安裝graphviz和相應(yīng)的插件，便能實(shí)現(xiàn)決策樹的可視化輸出，具體安裝過程不細(xì)說。

＃ 設(shè)置graphviz路徑

os．environ［＂PATH＂］ ＋＝ os．pathsep ＋ ＇C：／Program Files （x86）／Graphviz2．38／bin／＇

＃ 決策樹的可視化

dot＿data ＝ tree．export＿graphviz（clf， out＿file＝None， feature＿names＝data．columns， class＿names＝［＇0＇， ＇1＇］， filled＝True）

graph ＝ pydotplus．graph＿from＿dot＿data（dot＿data）

Image（graph．create＿png（））

＃ 將決策樹模型輸出為圖片

graph．write＿png（r＇pang．png＇）

＃ 將決策樹模型輸出為PDF

graph．write＿pdf（＇tree．pdf＇）

可視化結(jié)果如下。

可以看見決策樹根節(jié)點(diǎn)以fico＿score ＜＝ 683．5為分割標(biāo)準(zhǔn)。

全體樣本的基尼系數(shù)為0．483，在3284個(gè)樣本中，被預(yù)測變量為0的有2671個(gè)，為1的有1839個(gè)。

使用scikit－learn提供的參數(shù)搜索進(jìn)行調(diào)優(yōu)（GridSearchCV）。

＃ 設(shè)置樹的最大深度

max＿depth ＝ ［None， ］

＃ 設(shè)置樹的最大葉節(jié)點(diǎn)數(shù)

max＿leaf＿nodes ＝ np．a(chǎn)range（5， 10， 1）

＃ 設(shè)置樹的類標(biāo)簽權(quán)重

class＿weight ＝ ［｛0： 1， 1： 2｝， ｛0： 1， 1： 3｝］

＃ 設(shè)置參數(shù)網(wǎng)格param＿grid ＝ ｛＇max＿depth＇： max＿depth，

 ＇max＿leaf＿nodes＇： max＿leaf＿nodes，

＇class＿weight＇： class＿weight｝

＃ 對參數(shù)組合進(jìn)行建模和效果驗(yàn)證

clf＿cv ＝ GridSearchCV（estimator＝clf，
                     param＿grid＝param＿grid，
                     cv＝5，
                     scoring＝＇roc＿auc＇）

＃ 輸出網(wǎng)格搜索的決策樹模型信息

print（clf＿cv．fit（train＿data， train＿target））

輸出網(wǎng)格搜索的決策樹模型信息。

使用得到的“最優(yōu)”模型對測試集進(jìn)行評估。

＃ 輸出優(yōu)化后的決策樹模型的決策類評估指標(biāo)

print（metrics．classification＿report（test＿target， clf＿cv．predict（test＿data）））

＃ 輸出優(yōu)化后的決策樹模型的參數(shù)組合

print（clf＿cv．best＿params＿）

輸出結(jié)果。

計(jì)算模型在不同閾值下的靈敏度和特異度指標(biāo)，繪制ROC曲線。

＃ 使用模型進(jìn)行預(yù)測

train＿est ＝ clf＿cv．predict（train＿data）

train＿est＿p ＝ clf＿cv．predict＿proba（train＿data）［：， 1］

test＿est ＝ clf＿cv．predict（test＿data）

test＿est＿p ＝ clf＿cv．predict＿proba（test＿data）［：， 1］

＃ 繪制ROC曲線

fpr＿test， tpr＿test， th＿test ＝ metrics．roc＿curve（test＿target， test＿est＿p）

fpr＿train， tpr＿train， th＿train ＝ metrics．roc＿curve（train＿target， train＿est＿p）

plt．figure（figsize＝［3， 3］）

plt．plot（fpr＿test， tpr＿test， ＇b－－＇）

plt．plot（fpr＿train， tpr＿train， ＇r－＇）

plt．title（＇ROC curve＇）

plt．show（）

＃ 計(jì)算AUC值

print（metrics．roc＿auc＿score（test＿target， test＿est＿p））

ROC曲線圖如下，其中訓(xùn)練集的ROC曲線（實(shí)線）與測試集的ROC曲線（虛線）很接近，說明模型沒有過擬合。

模型的ROC曲線下面積為0．7358，模型效果一般。