在機(jī)器學(xué)習(xí)(Machine learning)領(lǐng)域。主要有三類不同的學(xué)習(xí)方法：監(jiān)督學(xué)習(xí)(Supervised learning)、非監(jiān)督學(xué)習(xí)(Unsupervised learning)、半監(jiān)督學(xué)習(xí)(Semi-supervised learning)。

監(jiān)督學(xué)習(xí)：通過已有的一部分輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的相應(yīng)關(guān)系。生成一個函數(shù)，將輸入映射到合適的輸出，比如分類。

非監(jiān)督學(xué)習(xí)：直接對輸入數(shù)據(jù)集進(jìn)行建模，比如聚類。

半監(jiān)督學(xué)習(xí)：綜合利用有類標(biāo)的數(shù)據(jù)和沒有類標(biāo)的數(shù)據(jù)，來生成合適的分類函數(shù)。

一、監(jiān)督學(xué)習(xí)

1、監(jiān)督式學(xué)習(xí)（Supervised learning），是一個機(jī)器學(xué)習(xí)中的方法。能夠由訓(xùn)練資料中學(xué)到或建立一個模式（ learning model）。并依此模式猜測新的實(shí)例。

訓(xùn)練資料是由輸入物件（一般是向量）和預(yù)期輸出所組成。函數(shù)的輸出能夠是一個連續(xù)的值（稱為回歸分析）?；蚴穷A(yù)測一個分類標(biāo)簽（稱作分類）。

2、一個監(jiān)督式學(xué)習(xí)者的任務(wù)在觀察完一些訓(xùn)練范例（輸入和預(yù)期輸出）后，去預(yù)測這個函數(shù)對不論什么可能出現(xiàn)的輸入的值的輸出。要達(dá)到此目的。學(xué)習(xí)者必須以"合理"（見歸納偏向）的方式從現(xiàn)有的資料中一般化到非觀察到的情況。

在人類和動物感知中。則通常被稱為概念學(xué)習(xí)（concept learning）。

3、監(jiān)督式學(xué)習(xí)有兩種形態(tài)的模型。

最一般的。監(jiān)督式學(xué)習(xí)產(chǎn)生一個全域模型，會將輸入物件相應(yīng)到預(yù)期輸出。而還有一種，則是將這樣的相應(yīng)實(shí)作在一個區(qū)域模型。（如案例推論及近期鄰居法）。為了解決一個給定的監(jiān)督式學(xué)習(xí)的問題（手寫辨識），必須考慮下面步驟：

1）決定訓(xùn)練資料的范例的形態(tài)。
在做其他事前，project師應(yīng)決定要使用哪種資料為范例。譬如，可能是一個手寫字符，或一整個手寫的詞匯。或一行手寫文字。

2）搜集訓(xùn)練資料。這資料需要具有真實(shí)世界的特征。所以。能夠由人類專家或（機(jī)器或傳感器的）測量中得到輸入物件和其相相應(yīng)輸出。

3）決定學(xué)習(xí)函數(shù)的輸入特征的表示法。
學(xué)習(xí)函數(shù)的精確度與輸入的物件怎樣表示是有非常大的關(guān)聯(lián)度。傳統(tǒng)上，輸入的物件會被轉(zhuǎn)成一個特征向量。包括了很多關(guān)于描寫敘述物件的特征。由于維數(shù)災(zāi)難的關(guān)系。特征的個數(shù)不宜太多，但也要足夠大。才干準(zhǔn)確的預(yù)測輸出。

4）決定要學(xué)習(xí)的函數(shù)和其相應(yīng)的學(xué)習(xí)算法所使用的數(shù)據(jù)結(jié)構(gòu)。譬如。project師可能選擇人工神經(jīng)網(wǎng)絡(luò)和決策樹。

5）完畢設(shè)計(jì)。project師接著在搜集到的資料上跑學(xué)習(xí)算法。能夠借由將資料跑在資料的子集（稱為驗(yàn)證集）或交叉驗(yàn)證（cross-validation）上來調(diào)整學(xué)習(xí)算法的參數(shù)。參數(shù)調(diào)整后，算法能夠執(zhí)行在不同于訓(xùn)練集的測試集上
另外對于監(jiān)督式學(xué)習(xí)所使用的詞匯則是分類。現(xiàn)著有著各式的分類器。各自都有強(qiáng)項(xiàng)或弱項(xiàng)。分類器的表現(xiàn)非常大程度上地跟要被分類的資料特性有關(guān)。

并沒有某一單一分類器能夠在全部給定的問題上都表現(xiàn)最好，這被稱為‘天下沒有白吃的午餐理論’。

各式的經(jīng)驗(yàn)法則被用來比較分類器的表現(xiàn)及尋找會決定分類器表現(xiàn)的資料特性。決定適合某一問題的分類器仍舊是一項(xiàng)藝術(shù)，而非科學(xué)。

眼下最廣泛被使用的分類器有人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、近期鄰居法、高斯混合模型、樸素貝葉斯方法、決策樹和徑向基函數(shù)分類。

二、無監(jiān)督式學(xué)習(xí)

1、無監(jiān)督式學(xué)習(xí)(Unsupervised Learning )是人工智能網(wǎng)絡(luò)的一種算法(algorithm)。其目的是去對原始資料進(jìn)行分類，以便了解資料內(nèi)部結(jié)構(gòu)。有別于監(jiān)督式學(xué)習(xí)網(wǎng)絡(luò)，無監(jiān)督式學(xué)習(xí)網(wǎng)絡(luò)在學(xué)習(xí)時(shí)并不知道其分類結(jié)果是否正確，亦即沒有受到監(jiān)督式增強(qiáng)(告訴它何種學(xué)習(xí)是正確的)。其特點(diǎn)是僅對此種網(wǎng)絡(luò)提供輸入范例。而它會自己主動從這些范例中找出其潛在類別規(guī)則。當(dāng)學(xué)習(xí)完成并經(jīng)測試后，也能夠?qū)⒅畱?yīng)用到新的案例上。

2、無監(jiān)督學(xué)習(xí)里典型的樣例就是聚類了。聚類的目的在于把相似的東西聚在一起，而我們并不關(guān)心這一類是什么。因此，一個聚類算法通常僅僅須要知道怎樣計(jì)算相似度就能夠開始工作了。

三、半監(jiān)督學(xué)習(xí)

1、半監(jiān)督學(xué)習(xí)的基本思想是利用數(shù)據(jù)分布上的模型如果, 建立學(xué)習(xí)器對未標(biāo)簽樣本進(jìn)行標(biāo)簽。
形式化描寫敘述為：

給定一個來自某未知分布的樣本集S=L∪U, 當(dāng)中L 是已標(biāo)簽樣本集L={(x1,y1),(x2,y2), … ,(x |L|,y|L|)}, U是一個未標(biāo)簽樣本集U={x’1,x’2,…,x’|U|},希望得到函數(shù)f:X → Y能夠準(zhǔn)確地對樣本x預(yù)測其標(biāo)簽y，這個函數(shù)可能是參數(shù)的。如最大似然法；可能是非參數(shù)的。如最鄰近法、神經(jīng)網(wǎng)絡(luò)法、支持向量機(jī)法等；也可能是非數(shù)值的，如決策樹分類。當(dāng)中, x與x’ 均為d 維向量, yi∈Y 為樣本x i 的標(biāo)簽, |L| 和|U| 分別為L 和U 的大小, 即所包括的樣本數(shù)。半監(jiān)督學(xué)習(xí)就是在樣本集S 上尋找最優(yōu)的學(xué)習(xí)器。怎樣綜合利用已標(biāo)簽例子和未標(biāo)簽例子,是半監(jiān)督學(xué)習(xí)須要解決的問題。

2、半監(jiān)督學(xué)習(xí)問題從樣本的角度而言是利用少量標(biāo)注樣本和大量未標(biāo)注樣本進(jìn)行機(jī)器學(xué)習(xí)。從概率學(xué)習(xí)角度可理解為研究怎樣利用訓(xùn)練樣本的輸入邊緣概率 P( x )和條件輸出概率P ( y | x )的聯(lián)系設(shè)計(jì)具有良好性能的分類器。這樣的聯(lián)系的存在是建立在某些如果的基礎(chǔ)上的。即聚類如果(cluster assumption)和流形如果(maniford assumption)。