中国人在线观看视频播放,18禁AV动漫网站,九九视频69精品视频秋欲浓

問(wèn)題
卷積神經(jīng)網(wǎng)絡(luò)是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)。卷積神經(jīng)網(wǎng)絡(luò)具有表征學(xué)習(xí)能力，能夠按其階層結(jié)構(gòu)對(duì)輸入信息進(jìn)行平移不變分類，因此也被稱為“平移不變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)。
全連接神經(jīng)網(wǎng)絡(luò)是具有多層感知器的的網(wǎng)絡(luò)，也就是多層神經(jīng)元的網(wǎng)絡(luò)。層與層之間需要包括一個(gè)非線性激活函數(shù)，需要有一個(gè)對(duì)輸入和輸出都隱藏的層，還需要保持高度的連通性，由網(wǎng)絡(luò)的突觸權(quán)重決定。那兩者的區(qū)別是什么呢?

方法
卷積神經(jīng)網(wǎng)絡(luò)也是通過(guò)一層一層的節(jié)點(diǎn)組織起來(lái)的。和全連接神經(jīng)網(wǎng)絡(luò)一樣，卷積神經(jīng)網(wǎng)絡(luò)中的每一個(gè)節(jié)點(diǎn)就是一個(gè)神經(jīng)元。在全連接神經(jīng)網(wǎng)絡(luò)中，每相鄰兩層之間的節(jié)點(diǎn)都有邊相連，于是會(huì)將每一層的全連接層中的節(jié)點(diǎn)組織成一列，這樣方便顯示連接結(jié)構(gòu)。而對(duì)于卷積神經(jīng)網(wǎng)絡(luò)，相鄰兩層之間只有部分節(jié)點(diǎn)相連，為了展示每一層神經(jīng)元的維度，一般會(huì)將每一層卷積層的節(jié)點(diǎn)組織成一個(gè)三維矩陣。
除了結(jié)構(gòu)相似，卷積神經(jīng)網(wǎng)絡(luò)的輸入輸出以及訓(xùn)練的流程和全連接神經(jīng)網(wǎng)絡(luò)也基本一致，以圖像分類為列，卷積神經(jīng)網(wǎng)絡(luò)的輸入層就是圖像的原始圖像，而輸出層中的每一個(gè)節(jié)點(diǎn)代表了不同類別的可信度。這和全連接神經(jīng)網(wǎng)絡(luò)的輸入輸出是一致的。類似的，全連接神經(jīng)網(wǎng)絡(luò)的損失函數(shù)以及參數(shù)的優(yōu)化過(guò)程也都適用于卷積神經(jīng)網(wǎng)絡(luò)。因此，全連接神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的唯一區(qū)別就是神經(jīng)網(wǎng)絡(luò)相鄰兩層的連接方式。
但是全神經(jīng)網(wǎng)絡(luò)無(wú)法很好地處理好圖像數(shù)據(jù)，然而卷積神經(jīng)網(wǎng)絡(luò)卻很好地客服了這個(gè)缺點(diǎn)，使用全連接神經(jīng)網(wǎng)絡(luò)處理圖像的最大問(wèn)題就是：全連接層的參數(shù)太多，對(duì)于MNIST數(shù)據(jù)，每一張圖片的大小是28*28*1，其中28*28代表的是圖片的大小，*1表示圖像是黑白的，有一個(gè)色彩通道。假設(shè)第一層隱藏層的節(jié)點(diǎn)數(shù)為500個(gè)，那么一個(gè)全連接層的神經(jīng)網(wǎng)絡(luò)有28*28*500+500=392500個(gè)參數(shù)，而且有的圖片會(huì)更大或者是彩色的圖片，這時(shí)候參數(shù)將會(huì)更多。參數(shù)增多除了導(dǎo)致計(jì)算速度減慢，還很容易導(dǎo)致過(guò)擬合的問(wèn)題。所以需要一個(gè)合理的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)有效的減少神經(jīng)網(wǎng)絡(luò)中參數(shù)的個(gè)數(shù)。卷積神經(jīng)網(wǎng)絡(luò)就可以更好的達(dá)到這個(gè)目的。

from keras import layers
from keras import models
from keras.datasets import mnist
from keras.utils import to_categorical
(train_images, train_labels), (test_images, test_labels) = mnist.load_data('D:/Python36/Coding/PycharmProjects/ttt/mnist.npz')
train_images = train_images.reshape(60000, 28*28)
train_images = train_images.astype('float32') / 255
test_images = test_images.reshape(10000, 28*28)
test_images = test_images.astype('float32') / 255
train_labels = to_categorical(train_labels)
test_labels = to_categorical(test_labels)
model = models.Sequential()
model.add(layers.Dense(512, activation='relu', input_shape=(28 * 28,)))
model.add(layers.Dense(10, activation='softmax'))
model.compile(optimizer='rmsprop',loss='categorical_crossentropy',metrics=['accuracy'])
history=model.fit(train_images, train_labels, epochs=10, batch_size=128)
test_loss, test_acc = model.evaluate(test_images, test_labels)
print(test_acc,test_acc)
#0.9786 0.9786
print("history_dict%s =" %history.history)
#history_dict = {'loss': [0.25715254720052083, 0.1041663886765639, 0.06873120647072792, 0.049757948418458306, 0.037821156319851675, 0.02870141142855088, 0.02186925242592891, 0.01737390520994862, 0.01316443470219771, 0.010196967865650853],
# 'acc': [0.9253666666984558, 0.9694833333333334, 0.9794666666348775, 0.9850166666984558, 0.9886666666666667, 0.9917666666666667, 0.9935499999682108, 0.9949499999682109, 0.9960999999682109, 0.9972833333333333]} =
acc1 = history.history['acc']
loss1 = history.history['loss']
print(model.summary())
(train_images, train_labels), (test_images, test_labels) = mnist.load_data('D:/Python36/Coding/PycharmProjects/ttt/mnist.npz')
train_images = train_images.reshape((60000, 28, 28, 1))
train_images = train_images.astype('float32') / 255
test_images = test_images.reshape((10000, 28, 28, 1))
test_images = test_images.astype('float32') / 255
train_labels = to_categorical(train_labels)
test_labels = to_categorical(test_labels)
model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.Flatten())
model.add(layers.Dense(64, activation='relu'))
model.add(layers.Dense(10, activation='softmax'))
model.compile(optimizer='rmsprop',loss='categorical_crossentropy',metrics=['accuracy'])
history = model.fit(train_images, train_labels, epochs=10, batch_size=64)
test_loss, test_acc = model.evaluate(test_images, test_labels)
##0.9919 0.9919
print("history_dict =%s" %history.history)
#history_dict = {'loss': [0.1729982195024689, 0.04632370648694535, 0.031306330454613396, 0.02327785180026355, 0.01820601755216679, 0.01537780981725761, 0.011968255878429288, 0.010757189085084126, 0.008755202058390447, 0.007045005079609898],
# 'acc': [0.9456333333333333, 0.9859, 0.9903333333333333, 0.9929333333333333, 0.99435, 0.9953333333333333, 0.9962333333333333, 0.9966, 0.99735, 0.9979333333333333]}
acc2 = history.history['acc']
loss2 = history.history['loss']
print(model.summary())
import matplotlib.pyplot as plt
fig=plt.figure()
ax=fig.add_subplot(1,1,1)
epochs = range(1, len(acc1) + 1)
ax.plot(epochs, acc1, 'bo', label='dense Training acc',color='red')
ax.plot(epochs, loss1, 'b', label='dense Training loss',color='red')
ax.plot(epochs, acc2, 'bo', label='Conv2D Training acc',color='green')
ax.plot(epochs, loss2, 'b', label='Conv2D Training loss',color='green')
ax.legend(loc='best')
ax.set_title('Training and validation accuracy by different model')
ax.set_xlabel('Epochs')
ax.set_ylabel('Accuracy')
plt.show()

結(jié)語(yǔ)

全連接網(wǎng)絡(luò)沒(méi)有卷積層，只使用全連接層（以及非線性層）。

以關(guān)鍵是理解卷積層和全連接層的區(qū)別。

全連接層有三個(gè)特點(diǎn)：

關(guān)注全局信息（每個(gè)點(diǎn)都和前后層的所有點(diǎn)鏈接）

參數(shù)量巨大，計(jì)算耗時(shí)

輸入維度需要匹配（因?yàn)槭蔷仃囘\(yùn)算，維度不一致無(wú)法計(jì)算）

卷積層

這個(gè)卷積和信號(hào)系統(tǒng)中的卷積不太一樣，其實(shí)就是一個(gè)簡(jiǎn)單的乘加運(yùn)算，

局部鏈接：當(dāng)前層的神經(jīng)元只和下一層神經(jīng)元的局部鏈接（并不是全連接層的全局鏈接）

權(quán)重共享：神經(jīng)元的參數(shù)（如上圖的3*3卷積核），在整個(gè)特征圖上都是共享的，而不是每個(gè)滑動(dòng)窗口都不同

也正是因?yàn)檫@兩個(gè)特性，所以卷積層相比于全連接層有如下優(yōu)點(diǎn)：

需要學(xué)習(xí)的參數(shù)更少，從而降低了過(guò)度擬合的可能性，因?yàn)樵撃Ｐ筒蝗缤耆B接的網(wǎng)絡(luò)復(fù)雜。

只需要考慮中的上下文/共享信息。這個(gè)未來(lái)在許多應(yīng)用中非常重要，例如圖像、視頻、文本和語(yǔ)音處理/挖掘，因?yàn)橄噜忀斎耄ɡ缦袼?、幀、單詞等）通常攜帶相關(guān)信息。

但需要注意的是，無(wú)論是全連接層，還是卷積層，都是線性層，只能擬合線性函數(shù)，所以都需要通過(guò)ReLU等引入非線性，以增加模型的表達(dá)能力。比如ReLU函數(shù)接受一個(gè)輸入x，并返回{0, x}的最大值。ReLU(x) = argmax(x, 0)。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。舉報(bào)投訴

神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)

+關(guān)注

關(guān)注
42

文章
4830

瀏覽量
106925
深度學(xué)習(xí)

深度學(xué)習(xí)

+關(guān)注

關(guān)注
73

文章
5591

瀏覽量
123995
卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)

+關(guān)注

關(guān)注
4

文章
371

瀏覽量
12756

chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛兴趣闲谈,欧美亚洲精品 8区,国产精品久久久久精品免费

搜索歷史

如何區(qū)分卷積網(wǎng)絡(luò)與全連接網(wǎng)絡(luò)

評(píng)論