一、深度學(xué)習(xí)基礎(chǔ)

1、首先，我們簡(jiǎn)單了解什么是感知器，感知器就是單個(gè)神經(jīng)元。

深度學(xué)習(xí)模擬的是人體的大腦，神經(jīng)元的樹突在接收到特定的輸入刺激后，其胞體就會(huì)被激活，并通過軸突向其它神經(jīng)元輸出興奮，從而導(dǎo)致更多的神經(jīng)元被激活，這是大腦思考的基礎(chǔ)。 這個(gè)過程簡(jiǎn)化為當(dāng)神經(jīng)遞質(zhì)的濃度達(dá)到一個(gè)特定的閾值，就可以通過電信號(hào)傳導(dǎo)興奮。

在深度學(xué)習(xí)中，生物學(xué)中的過程建模為上圖，神經(jīng)元可以表示成圖中的?，當(dāng)接受到輸入信號(hào)時(shí)，會(huì)乘以權(quán)重w1和w2，神經(jīng)元計(jì)算出總和，超過閾值θ時(shí)被激活，輸出1。 θ稱為偏置，w1和w2稱為權(quán)重。

令b=-θ，公式可以改寫為下圖：

偏置和權(quán)重的作用是：w1和w2表示輸入對(duì)激活的重要性，b用來調(diào)整激活的難易程度。

2、邏輯門的實(shí)現(xiàn)

我們來看一下硬件中的邏輯電路是如何通過神經(jīng)元實(shí)現(xiàn)的。

1'與門

(w1,w2,θ)=(0.5,0.5,0.7)滿足與門 (x1,x2,y)=000,010,100,111

2'與非門

(w1,w2,θ)=(-0.5,-0.5,-0.7)滿足與非門 (x1,x2,y)=001,011,101,110

3’或門

(w1,w2,θ)=(0.5,0.5,0.3)滿足或門 (x1,x2,y)=000,011,101,111

調(diào)整權(quán)重和閾值可以從硬件底層實(shí)現(xiàn)不同的邏輯門。 但是同時(shí)我們會(huì)發(fā)現(xiàn)，無論如何調(diào)整參數(shù)都無法實(shí)現(xiàn)異或門。

(w1,w2,b)=(1,1,-0.5)時(shí)x1+x2-0.5>=0?，在坐標(biāo)系中畫出x2=0.5-x1的直線，直線右側(cè)表示神經(jīng)元被激活時(shí)的輸入。 左圖表示或門，右圖表示異或門，異或門的對(duì)角表示激活，沒有直線可以分隔開。 由此可見，神經(jīng)元實(shí)現(xiàn)的是線性化的運(yùn)算，如果要實(shí)現(xiàn)異或門這種非線性的運(yùn)算，就只能用多層感知器。

3、多層感知器

在數(shù)字電路中，異或門為y=AB'+A'B=AA'+AB'+A'B+A'B'=(A+B)(A'+B')=(A+B)(AB)'，左圖用三個(gè)基本邏輯門可以實(shí)現(xiàn)異或。 右圖是多個(gè)神經(jīng)元的表現(xiàn)方式。

對(duì)于復(fù)雜函數(shù)，感知器有實(shí)現(xiàn)的可能性，但是參數(shù)需要手動(dòng)設(shè)置。 為了解決這個(gè)問題，神經(jīng)網(wǎng)絡(luò)應(yīng)運(yùn)而生，它可以自動(dòng)學(xué)習(xí)到參數(shù)。 那么，神經(jīng)網(wǎng)絡(luò)如何自動(dòng)學(xué)習(xí)呢？ 隨著學(xué)習(xí)的深入，后面會(huì)慢慢揭曉！