決策樹是聽上去比較厲害且又相對(duì)簡(jiǎn)單的算法，但在實(shí)現(xiàn)它的過程中可能會(huì)對(duì)編程本身有更深的理解、尤其是對(duì)遞歸的利用

我個(gè)人的習(xí)慣是先說明最終能干什么、然后再來說怎么實(shí)現(xiàn)，這樣也能避免一些不必要的信息篩選。所以，這一部分主要用于讓已經(jīng)知道一定的基礎(chǔ)知識(shí)的童鞋知道最后能走多遠(yuǎn)，如果是想從頭開始學(xué)的話可以無視這一章直接看第一章

1. ID3 和 C4.5（可以控制最大深度），CART 可能會(huì)在假期實(shí)現(xiàn)

可視化；比如在比較著名的蘑菇數(shù)據(jù)集上的最終結(jié)果為（隨機(jī) 5000 個(gè)訓(xùn)練）：正確率 100%（大概挺正常的……）。其中，每個(gè) Node 最后那個(gè)括號(hào)里面，箭頭前面是特征取值，箭頭后面或者是類別、或者是下一個(gè)選取的特征的維度

運(yùn)用 cv2 的話可以畫出比較傳統(tǒng)的決策樹的可視化圖，效果大致如下：

其中紅色數(shù)字標(biāo)注了該 Node 選擇了數(shù)據(jù)的哪個(gè)維度，綠色字母表示該 Node 所屬的類別，白色字母代表著對(duì)應(yīng)數(shù)據(jù)維度特征的取值

比如說如果樣本的第 4 維（從 0 開始計(jì)數(shù)）是 a、l 的話就判為類別 e，是 c、f、m、p、s、y 的話就判為類別 p，是 n 的話就再看樣本的第 7 維、以此類推

1. 雖說我這個(gè)決策樹暫時(shí)不支持連續(xù)型特征，但相對(duì)應(yīng)的它有一個(gè)好處：你不用把離散型數(shù)據(jù)處理成數(shù)值形式、而可以直接把它輸入模型來訓(xùn)練。據(jù)我所知，scikit-learn 的 DecisionTreeClassifier 還不支持這一點(diǎn)（自豪臉）（然而人家比你快 1~2 倍）。